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丁 如 敏 ， 毕 业 于 北京 邮电 大 学 ，《 腾 讯 Android 自 动 化 测试 实践 》 的 作者 之 一 ， 拥 有 10 年 以 上 软件 测试 和 项 目 管 理 的 经 验 ， 精 通 移动 终端 性 能 、 自 动 化 测试 、 敏 捷 测 试 等 各 种 测试 技术 。 在 腾讯 工作 期 
间 ， 带 领 团队 共 发 明了 50 多 项 专利 ， 开 有 了 10 多 门 内 部 培训 课程 ， 喜 欢 挑 战 软件 领域 的 各 项 前 瞻 技术 ， 并 有 丰富 的 实践 经 验 。 


王 琳 ， 腾 讯 高 级 测试 工程 师 ，2012 年 中 山大 学 硕士 毕业 后 加 入 腾讯 。 积 累 了 五 年 多 的 iOs 客 户 端 测试 经 验 。 在 探索 式 测试 方面 有 深入 的 研究 和 实践 ， 在 测试 过 程 的 优化 提升 方面 颇 有 心得 。 致 力 于 将 业 
界 先进 测试 理论 落地 到 iOs 平 台 测试 实践 中 ， 实 战 经 验 丰 富 。 


程 春 林 ， 腾 讯 专项 技术 工程 师 ， 从 事 过 传统 汽车 行业 、 通 信行 业 、 互 联网 软件 开发 以 及 自动 化 测试 开发 工作 ， 拥 有 海外 工作 经 验 。 目 前 任职 于 腾讯 ， 负 责 手机 QQ 浏览 器 (iPhone) 端 专项 测试 工作 ， 
专注 于 iOs3 端 自动 化 测试 研发 与 实践 ， 并 撰写 了 多 项 iOS 相 天 发 明 专 利 。 


纪 文 静 ，2015 年 西安 电子 科技 大 学 硕士 毕业 后 加 入 腾讯 。 入 职 后 负责 QQ 浏览 器 (iPhone) 端 功 能 测试 ， 主 要 致力 于 推动 测试 流程 优化 落地 的 工作 ， 在 缺陷 分 析 方 面 有 较 丰 富 的 经 验 。 
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叶 方正 ，2008 年 加 入 腾讯 ， 专 注 于 移动 智能 平台 性 能 以 及 自动 化 测试 。 有 10 年 以 上 的 智能 移动 平台 测试 及 开发 的 经 验 ， 精 通 主流 的 智能 移动 平台 性 能 测试 和 调 优 ， 以 及 各 种 工程 工具 开发 和 平台 搭建 。 
在 腾讯 工作 期 间 ， 先 后 负责 过 手机 QQ、 手 机 QQ 浏览 器 、 腾 讯 微 博 、 应 用 宝 、 手 机 管家 等 相关 业务 的 测试 。 


拥有 性 能 和 自动 化 测试 相关 的 12 项 专利 。 目 前 负责 QQ 浏览 器 (iPhone) 端的 


张 锦 铭 ， 毕 业 于 中 山大 学 数学 系 ，2011 年 入 职 腾讯 ， 专 注 于 iOS 端 性 能 测试 和 自动 化 测试 ， 有 丰富 的 iOSs 自 动 化 测试 经 验 


性 能 测试 相关 工作 。 


在 苹果 系列 的 移动 终端 使 用 ， 也 就 是 说 ， 在 苹果 系列 的 
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只 能 


为 何 编写 本 书 
随 着 移动 互联 网 的 兴起 ， 移 动 终端 的 测试 也 进入 火热 的 时 代 。 两 大 主流 操作 系统 Android 和 iOS 占 据 了 移动 端的 主要 市 场 份 额 ， 其 中 iOS 系 统 
移动 终端 产品 上 ， 操 作 系统 都 是 清一色 的 iOs 系 统 ， 这 就 形成 了 硬件 和 系统 同属 于 一 家 公司 的 独特 现象 。 每 年 苹果 公司 发 布 新 机 型 或 者 新 操作 系统 时 ， 都 会 引起 全 球 果 粉 的 疯狂 。 如 此 火热 的 平台 ， 如 何 保证 


其 App 的 质量 就 
积累 ， 在 整体 测试 观 、 功 能 测试 、 性 能 测试 、 自 动 化 测试 方面 总 结 


A 
经 验 7 


显得 尤为 重要 。 
长 久 以 来 ,市 面 上 单独 讲解 '\OS 平 台 测试 相关 知识 的 书籍 比较 少见 ， 对 于 做 iOS 测 试 的 同行 来 说 ， 可 参考 的 国内 资源 十 分 荐 乏 ， 他 们 往往 需要 借助 外 文 网 站 和 博客 上 的 片段 资料 进行 学 习 和 整合 。 随 着 
iPhone 和 iPad 等 移动 终端 设备 的 兴起 和 流行 ， 越 来 越 多 的 开发 者 和 测试 人 员 投 入 到 iOS 平 台 软 件 的 研发 中 ， 而 中 文 参 考 资 料 的 缺失 ， 确 实在 一 些 程度 上 阻碍 了 国内 测试 人 员 进 军 iOS 平 台 的 步伐 。 市 场 上 也 渴 


望 有 一 本 相对 系统 而 翔实 地 讲解 iOS 测 试 的 书籍 ， 由 此 ， 本 书 应 运 而 生 。 
QQ 浏览 器 (iPhone) 测试 团队 自 2012 年 年 初 组 建 以 来 ,一直 致 力 于 探索 基于 iOS 平 台 的 各 种 测试 技能 和 实践 方式 ， 经 过 近 5 年 的 
行 分 享 和 交流 。 
进行 内 容 更 新 和 丰富 ， 目 的 是 使 书 中 涉及 的 案例 和 框架 更 加 贴 合 当 前 实际 。 故 


出 独特 的 经 验 ， 团 队 本 着 开放 、 分 享 的 精神 所 写 了 本 书 ， 希 望 借 本 书 和 业界 同行 们 进 

正式 起 草本 书 是 在 2015 年 下 半年 ， 历 时 半年 完成 初稿 ， 于 2016 年 下 半年 正式 启动 本 书 出 版 流程 ， 再 用 半年 时 间 修改 原稿 

本 书 总 体 耗 时 一 年 半 ， 在 这 一 年 半 的 时 间 里 ， 各 位 作者 各 尽 所 长 ， 加 班 加 点 ， 力 求 为 读者 呈现 一 本 相对 系统 化 、 可 读 性 高 与 时 俱 进 的 iOS 平 台 专业 测试 书籍 . 
A 2 


参与 本 书 编写 的 有 程 春 林 、 丁 如 敏 、 纪 文静 、 王 琳 、 叶 方正 、 张 锦 铭 ( 按 姓氏 拼音 排序 ) ， 且 都 是 来 自 腾讯 QQ 浏览 器 (iPhone) 测试 团队 的 领头 人 及 骨干 员工 。 


读者 对 象 


本 书 是 一 本 结合 实际 案例 的 iOs 平 台 实 践 总 结 书籍 ， 内 容 贴近 一 线 测试 ， 语 言 朴 素 易 懂 。 适 合 新 手 入 门 ， 也 能 够 为 有 一 定 经 验 的 测试 人 员 提 供 思 路 扩展 和 理论 抽象 的 借鉴 。 这 里 根据 行业 实际 需求 给 出 适 
合 阅读 本 书 的 相应 的 读者 群体 : 


C 对 iOS 平 台 测 试 感 兴趣 的 人 ; 
“ 有 一 定 iOS 平 台 测 试 经 验 并 想 提升 的 人 ， 
“ 即将 开展 iOS 平 台 测 试 的 团队 ; 


“ 开设 相关 课程 的 院 校 师 生 。 


本 书 特色 


本 书 立足 于 iOS 平 台 ， 结 合 最 新 的 理论 和 工具 使 用 案例 ， 对 测试 工作 进行 了 系统 的 思考 和 梳理 。 内 容 涵 盖 了 iOS 平 台 上 常用 的 各 种 测试 方式 、 工 具 、 理 论 ， 可 以 作为 新 手 入 门 ， 以 及 有 一 定 经 验 的 测试 人 
员 扩 展 思 路 使 用 。 


本 书 分 为 三 大 部 分 : 测试 观 、iOS 特 色 测 试 、 通 用 测试 实践 。 


在 开篇 的 测试 概述 里 ， 我 们 首先 为 读者 介绍 了 测试 观 ， 这 是 本 书 的 一 个 综合 性 观点 ， 也 是 后 续 章节 的 地 图 ， 这 里 不 拘泥 于 iOs 平 台 ， 是 对 整个 测试 工作 的 思考 和 总 结 。 第 1 章 也 是 整 本 书 的 纲领 性 章节 ， 
是 从 一 个 比较 高 的 视角 信 膨 整个 测试 活动 ， 能 为 读者 带 来 系统 性 的 视野 。 
在 iOS 特 色 测试 部 分 ， 我 们 主要 介绍 的 是 与 'OS 平 台 强 相关 的 测试 内 容 。 包 括 iOS 平 台 的 一 些 特性 问题 、 兼 容 性 测试 、 性 能 测试 等 内 容 ， 还 包括 各 种 自动 化 工具 的 使 用 方法 、 自 动 化 框架 的 二 次 开发 实践 


等 内 容 。 这 部 分 是 本 书 的 核心 ， 也 是 区 别 于 业界 同类 书籍 的 重点 部 分 。 


在 通用 测试 实践 部 分 ， 主 要 介绍 了 一 些 不 分 平台 性 的 测试 实践 ， 包 括 测试 界 流行 的 探索 式 测试 实践 、 我 们 团队 自 创 的 标准 化 测试 实践 ， 以 及 测试 工程 师 必 做 的 缺陷 分 析 等 。 这 部 分 是 一 些 与 'OS 非 强 相关 
的 内 容 ， 在 其 他 平台 上 也 可 以 借鉴 使 用 。 


如 何 阅读 本 书 

如 果 您 是 一 位 有 丰富 iOS 平 台 测试 经 验 的 工程 师 ， 本 书 可 以 为 您 提供 思路 拓展 ， 建 议 重 点 阅读 第 1 章 ， 寻 找 与 自己 有 共鸣 的 点 。 然 后 可 以 重点 阅读 第 6 章 ， 这 一 章 涵盖 了 我 们 对 自动 化 测试 的 深入 实践 和 
思考 。 

如 果 您 是 一 位 想 党 试 和 学 习 iOs 平 台 测试 的 新 入 行者 ， 那 么 应 该 恭喜 您 遇 到 本 书 ， 因 为 本 书 将 帮 您 轻松 进入 is 测试 之 门 。 故 建议 从 头 逐 章 阅读 ， 尽 量 不 要 跳 章 ， 读 完 本 书 基本 可 以 掌握 iOs 平 台 上 所 有 


流 的 测试 技能 和 经 验 。 
如 果 您 是 一 位 非 i0S 平 台 的 测试 工程 师 ， 想 从 本 书 中 寻找 启发 ， 建 议 重点 阅读 本 书 通用 测试 实践 部 分 ， 这 里 介绍 的 测试 方法 在 各 个 平台 都 通用 。 还 可 以 尝试 阅读 第 1 章 和 第 二 部 分 中 感 兴趣 的 章节 。 
勘误 和 支持 
由 于 作者 水 平 所 限 ， 书 中 难免 会 出 现 一 些 错 误 或 者 不 准确 的 地 方 ， 奶 请 各 位 读者 批评 指正 。 如 果 您 在 阅读 本 书 时 遇 到 任何 问题 ， 欢 迎 提 出 ， 我 们 将 尽力 为 您 提供 最 满意 的 解答 。 
我 们 的 邮箱 : 2698884730@qq.com 
我 们 的 专用 QQ: 2698884730 
致谢 
感谢 腾讯 科技 MI1G 无 线 研 发 部 总 经 理 洗 文 佟 、 副 总 经 理 陈 诚 ， 是 你 们 的 鼓励 助 我们 完成 本 书 的 撰写 。 
感谢 腾讯 科技 M1G 浏 览 器 产品 部 QQ 浏览 器 (iPhone) 项 目 团队 总 监 俞 旭 明和 全 体 成 员 对 我 们 的 指导 和 帮助 ， 本 书 的 全 部 案例 都 来 自 这 个 项 目 团队 。 


感谢 腾讯 科技 M1G 无 线 研发 部 品质 中 心 (TMQ) 的 同事 ， 在 整个 写作 过 程 中 ， 你 们 帮助 我 们 进行 的 内 容 调整 和 资源 校对 ， 是 本 书 高 质量 呈现 的 保障 。 特 别 感谢 陈 勉 荣 、 马 识 佳 和 樊 林 三 位 同学 对 本 书 进 
行 的 积极 校对 和 评审 工作 。 


感谢 机 械 工 业 出 版 社 华章 公司 的 编辑 杨 福 川 、 孙 海 亮 ， 是 你 们 给 予 的 专业 指导 和 鼓励 ， 引 导 了 本 书 的 完成 。 


第 一 部 分 “测试 观 


- 第 1 章 ”测试 观 概述 


第 1 草 “测试 观 概述 


1.1 引言 


在 正式 介绍 iOS 测 试 前 ， 先 为 读者 引入 一 个 思考 问题 : 一 干 个 人 有 一 干 种 测试 观 ， 那 么 测试 人 员 到 | 底 应 该 持 有 何 种 测试 观 ? 我 们 先 来 看 看 测试 的 定义 发 展 史 。 
20 世 纪 60 年 代 : 软件 开发 过 程 中 ， 将 测试 等 同 于 “调试 。 
1957 年 ， 软 件 测 斌 区 别 于 调试 ， 成 为 一 种 发 现 软 件 缺 陷 的 活动 。 


1972 年 ， 在 北 卡 罗 来 纳 大 学 举行 了 首届 软件 测试 正式 会 议 。 


1975 年 ，John Good Enough 和 Susan Gethart 在 IEEE 上 发 表 了 文章 《测试 数据 选择 的 原理 》， 从 此 软件 测试 被 确定 为 一 种 研究 方向 。 


1979 年 ， 在 Glen ford Myets 的 《软件 测 斌 艺术》 中， 定义 “测试 是 为 发 现 错误 而 执行 的 一 个 程序 或 者 系统 的 过 程 ”。 
1983 年 ，Bil Hetzel 在 《软件 测试 完全 指南 》 中 指出 ，“ 测 试 是 以 评价 一 个 程序 或 者 系统 属性 为 目标 的 任何 一 种 活动 ， 是 对 软件 质量 的 度量 
2002 年 ，Rick 和 Stefan 在 《系统 的 软件 测试 》 一 书 中 对 软件 测试 做 了 进一步 定义 ，“ 测 试 是 为 了 度量 和 提 


软件 测试 的 经 典 定义 : 在 规定 的 条 件 下 对 程序 进行 操作 ， 


以 上 测试 (软件 测试 ) 的 定义 都 没 错 ， 那 么 测试 工程 师 应 该 怎 


通俗 一 点 来 解释 ， 笔 者 理解 的 测试 为 : 


ourselves, "How can we make our software development process more efficient to deliver products that make our users happy? " 
X, "make users happy” 可 以 理解 为 品质 管理 。 就 像 上 面 谷歌 团队 的 这 段 话 ， 测 试 人 员 应 该 每 天 思考 怎样 提升 团队 的 研发 效率 ， 怎 样 提升 产 


第 1 章 ”测试 观 概述 


1.1 引言 


在 正式 介绍 iOs 测 试 前 ， 先 为 读者 引入 一 个 思考 问题 : 


20 世 纪 60 年 代 : 软件 开发 过 程 中 ， 将 测试 等 同 于 “调试 


一 干 个 人 有 一 干 种 测试 观 ， 那 么 测试 人 员 


以 发 现 程序 错误 、 衡 量 软件 质量 ， 并 对 其 能 否 满 


么 做 呢 ? 


测试 = 工程 效率 + 品质 管理 。 相 应 地 ， 测 试 人 员 做 的 事情 就 是 提升 工程 效率 ， 


足 设计 要 求 而 进行 评估 的 过 程 。 


M 


Rowe. 


高 被 测试 软件 的 质量 而 对 测试 软件 进行 工程 设计 、 实 施 和 维护 的 整个 生命 周期 过 程 。 


一 百度 百科 


做 好 品质 管理 。 引 用 谷歌 团队 的 一 段 话 [: Essentially, every day we ask 
其 中 “make process more efficient” 可 以 理解 为 工程 交 


M 


Rowe. 


1957 年 ， 软 件 测 斌 区别 于 调试 ， 成 为 一 种 发 现 软件 缺陷 的 活动 。 

1972 年 ， 在 北 卡 罗 来 纳 大 学 举行 了 首届 软件 测试 正式 会 议 。 

1975 年 ，John Good Enough 和 Susan Gerhatt 在 IEEE 上 发 表 了 文章 《测试 数据 选择 的 原理 》， 从 此 软件 测试 被 确定 为 一 种 研究 方向 。 

1979 年 ， 在 Glen ford Myers 的 《软件 测试 艺术 》 中 ， 定 义 “ 测 试 是 为 发 现 错误 而 执行 的 一 个 程序 或 者 系统 的 过 程 ”。 

1983 年 ，Bill Hetzel 在 《软件 测试 完全 指南 》 中 指出 ，“ 测 试 是 以 评价 一 个 程序 或 者 系统 属性 为 目标 的 任何 一 种 活动 ， 是 对 软件 质量 的 度量 
2002 年 ，Rick 和 Stefan 在 《系统 的 软件 测试 》 一 书 中 对 软件 测试 做 了 进一步 定义 ，“ 测 试 是 为 了 度量 和 提 


软件 测试 的 经 典 定义 : 在 规定 的 条 件 下 对 程序 进行 操作 ， 


以 上 测试 (软件 测试 ) 的 定义 都 没 错 ， 那 么 测试 工程 师 应 该 怎 


通俗 一 点 来 解释 ， 笔 者 理解 的 测试 为 : 
ourselves, 
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mm! 


1.2 工程 效率 


总 体 来 说 ， 工 程 效 率 就 是 研发 效率 (包含 测 试 效 率 ) 。 


这 里 我 们 会 把 测试 效率 单独 提出 来 进 
数 时 候 是 说 与 研发 流程 相关 的 (不 局 限于 敏捷 流程 ，Feature Team 研 发 模型 ) 


以 发 现 程序 错误 、 衡 量 软件 质量 ， 并 对 其 能 否 满 


么 做 呢 ? 


测试 = 工程 效率 + 品质 管理 。 相 应 地 ， 测 试 人 员 做 的 事情 就 是 提升 工程 效率 ， 
“How can we make our software development process more efficient to deliver products that make our users happy?“ 


"make users happy” 可 以 理解 为 品质 管理 。 就 像 上 面 谷歌 团队 的 这 段 话 ， 测 试 人 员 应 该 每 天 思考 怎样 提升 团队 的 研发 效率 ， 


求 有 改动 而 没有 及 时 同步 到 相关 角色 。 


保障 的 前 提 下 ) ， 大 多 
需求 评审 : 需求 评审 机 制 以 及 更 新 通知 ， 避 免 需 
. 代码 质量 : 静态 代码 扫描 ， 千 行 代 码 缺 陷 率 等 。 
架构 评审 : 代码 架构 的 讨论 以 及 评审 。 
: BUQE: Bug 生 命 周 期 ， 避 免 随 便 修 改 Bug 状 态 以 及 备注 缺失 。 


: Code Review: 代码 评审 ， 如 
: Dogfood: 自己 做 的 产品 自己 (项 目 各 成 员 ) 先 体验 。 
: Showcase: 完成 菜 个 特性 ， 可 以 通 
上 面 提 到 的 活动 ， 只 有 通过 
表 提 一 下 测试 效 3 

- 测试 周期 : 


测试 设计 : 包括 需求 覆盖 度 、 用 例 履 盖 


会 议 针对 某 个 特性 进 和 


整个 项 目 团队 (各 个 角色 ) 的 通力 配合 


果 有 代码 评审 委员 会 就 更 好 了 。 


了 展示， 一 般 由 产品 经 理 主持 。 


， 才 能 更 加 高 效 。 


测试 与 研发 周期 是 密切 关联 的 ， 包 括 和 迭代 测试 、 集 成 测试 、 回 归 测 试 、 上 线 测试 等 ， 每 个 阶段 都 要 把 握 好 测试 效率 和 测试 资 


度 、 用 例 执行 效率 等 。 


. 自动 化 测试 : 使 用 自动 化 执行 的 方式 进行 测试 ， 可 以 快速 得 出 测试 结果 ， 节 省 人 力 成 本 。 


- 静态 代码 分 析 : 使 用 一 定 的 工具 来 对 代码 进行 


. 测试 技术 创新 : 通过 对 测试 技术 的 创新 ， 例 如 精准 测试 、 


静态 扫描 ， 提 前 发 现代 码 隐 藏 的 问题 。 


器 学 习 等 方式 ， 来 变更 测试 方式 ， 大 幅度 


足 设计 要 求 而 进行 评估 的 过 程 。 
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品质 来 让 用 户 满意 。 


到 | 底 应 该 持 有 何 种 测试 观 ? 我 们 先 来 看 看 测试 的 定义 发 展 史 。 


高 被 测试 软件 的 质量 而 对 测试 软件 进行 工程 设计 、 实 施 和 维护 的 整个 生命 周期 过 程 。” 


一 百度 百科 


做 好 品质 管理 。 引 用 谷歌 团队 的 一 段 话 [1]: Essentially, every day we ask 
其 中 “make process more efficient” 可 以 理解 为 工程 交 


怎样 提升 产 


率 ， 这 大 多 数 由 测试 工程 师 主导 ， 也 是 测试 工程 师 最 主要 的 工作 内 容 。 测 试 效率 包含 但 不 局 限于 以 下 这 些 活 动 。 


度 提 升 测试 质量 和 效率 。 


资源 分 


TE 


行 说 明 ， 因 为 这 是 与 测试 工程 师 相 关 度 最 大 的 工作 。 研 发 效率 ， 
， 例 如 包含 但 不 局 限于 以 下 活动 。 


品质 来 让 用 户 满意 。 


其 实 就 是 让 产品 上 线 的 时 间 更 快 (在 品质 有 


接 下 来 举 两 个 例子 具体 看 下 。 
1.2.1 自动 化 测试 


自动 化 测试 于 20 世 纪 90 年 代 才 开始 逐渐 成 熟 ， 特 别 是 敏捷 研发 的 流行 以 及 推崇 的 TDD 模 式 ， 自 动 化 测试 也 逐渐 流行 起 来 。 对 于 自动 化 测试 ， 我 们 还 是 得 多 关注 其 投入 产 出 比 (ROI ， 特 别 是 对 于 UI 自 
动 化 测试 。 业 界 自动 化 测试 金字 塔 模型 建议 做 单元 测试 或 者 接口 测试 多 于 UI 自动 化 测试 。 关 于 自动 化 测试 投入 产 出 比 ， 请 参阅 第 6 章 介绍 的 内 容 。 


对 于 iOS 平 台 上 的 自动 化 测试 实践 ， 我 们 也 有 在 不 同方 向 上 的 尝试 (参见 第 5 章 ) ， 并 都 有 不 错 的 收获 。 相 关 自 动 化 测试 的 开展 还 需要 有 一 些 自动 化 测试 框架 的 支持 详细 自动 化 测试 框架 的 内 容 会 在 第 
7 章 介绍 ) ，QQ 浏 览 器 (iPhone) 测试 团队 主要 移植 Google 开 源 的 EarlGrey 框 架 来 作为 自动 化 测试 的 基础 框架 。 本 节 先 简单 介绍 几 种 主流 自动 化 测试 类 型 。 


1.BVT (Build Verification Test) 


业界 现在 流行 持续 交付 的 模式 。 那 么 每 次 持续 集成 编译 出 包 后 ， 自 动 化 会 运行 一 些 基础 功能 测试 用 例 ， 保 证 版 本 基础 功能 可 用 ， 而 不 会 因为 新 代码 合 入 影响 基础 功能 。 这 部 分 主要 介绍 UI 自动 化 测试 ， 
当然 ， 随 着 版 本 需求 的 变更 ， 维 护 成 本 也 会 增加 。 但 对 于 QQ 浏览 器 的 UI 变更 还 不 是 很 频繁 ,维护 成 本 还 相对 可 控 ， 整 体 的 投入 产 出 也 不 错 ， 具 体 可 参考 第 6 章 的 内 容 。 


人 + ~ 
2. 监 控 类 


根据 产品 的 业务 特点 ， 我 们 会 对 产品 进行 一 些 监控 ， 例 如 手机 QQ 浏览 器 (iPhone) 项 目 实现 了 三 种 类 型 的 监控 测试 ， 即 终端 视频 嗅 探 监控 、 终 端 feeds 流 短视 频 可 播 性 监控 、 终 端 资 讯 类 监控 。 这 部 分 
监控 的 基础 框架 和 BVT 实 现 是 一 致 的 ， 只 是 基于 业务 形态 做 了 调整 ， 采 用 的 也 是 EarlGrey 框 架 并 进行 了 二 次 开发 。 可 参考 第 6 章 关 于 测试 框架 的 二 次 开发 。 


3. 性 能 自动 化 测试 


性 能 测试 涉及 各 种 数据 的 采集 和 分 析 ， 而 数据 采集 往往 很 复杂 并 且 非 常 耗 时 ， 性 能 自动 化 测试 也 都 集中 在 数据 采集 这 一 块 。 目 前 我 们 针对 页 面 速 度 、 产 品 稳定 性 、 电 量 、 流 量 、 内 存 等 各 个 方面 进行 性 
能 自动 化 测试 的 尝试 ， 详 细 内 容 请 参见 第 4 章 。 


1.2.2 静态 代码 分 析 


静态 代码 分 析 就 是 在 不 执行 代码 的 情况 下 ， 通 过 一 定 的 算法 规则 (词法 分 析 、 语 法 分 析 、 单 函数 分 析 、 代 码 段 分 析 、 数 据 流 分 析 、 资 源 分 析 、 依 赖 链 分 析 、 更 高 级 的 智能 逻辑 分 析 ) 对 整个 工程 的 代码 
进行 分 析 ， 以 此 来 找 出 代码 中 的 缺陷 。 这 样 就 可 以 提早 发 现 问题 ， 大 大 降低 研发 成 本 。 美 国 软件 工程 专家 Capers Jones 提 出 的 软件 测试 缺陷 价值 图 如 图 1-1 所 示 。 
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Source: Applied Software Measurement, Capers Jones, 1996 


图 1-1 软件 测试 缺陷 价值 图 


图 1-1 中 的 三 条 曲线 分 别 代表 引入 的 缺陷 、 发 现 缺陷 、 缺 陷 修 复 成 本 。 越 是 在 前 期 发 现 的 缺陷 ， 修 复 缺 陷 的 成 本 越 低 ， 越 是 到 后 期 ， 修 复 缺 陷 的 成 本 越 高 。 通 常 来 说 ， 发 现 缺陷 主要 在 功能 测试 、 集 成 测 
试 阶 段 。 

如 果 能 够 在 Coding 阶 段 发 现 大 部 分 缺陷 ， 就 能 大 大 降低 修复 缺陷 的 成 本 。 静 态 代码 分 析 技术 恰恰 能 够 很 好 地 在 Coding 阶 段 发 现 部 分 代码 问题 ， 这 样 就 能 够 大 大 节约 软件 开发 成 本 。 

经 过 实践 论证 ，iOs 平 台 比 较 好 用 的 两 款 工具 如 下 。 

.Clang 的 Scan-Build 工 具 (下 载 地 址 : http://clang-analyzer.llvm.org/scan-build.html) 。 

- FaceBook 的 Infer 工 具 (下 载 地 址 : https://github.com/facebook/infer) 。 

目前 这 两 款 工具 都 是 开源 的 ， 除 了 能 够 使 用 其 基本 的 功能 外 ， 如 果 还 有 其 他 的 业务 需求 ， 可 以 对 这 两 款 工 具 进行 二 次 开发 : 添加 自己 的 静态 分 析 规 则 和 分 析 算 法 。 

QQ 浏览 器 (iPhone) 项 目 采 用 Scan-Build 工 具 发 现代 码 缺 陷 ， 如 图 1-2 所 示 。 

User: corincheng@corin.local 


Working Directory: /Users/corincheng/Desktop/UITest/iOS Log. Proj 


xcodebuild -workspace /Users/corincheng/Desktop/qb trunk/iOS UITest 429343/mtt.xcworkspace -scheme mttlite -configuration Debug -derivedDataPath 


Command Line: /Users/corincheng/Desktop/UITest/QQBrower 


Clang Version: clang version 4.0.0 (tags/checker/checker-279) 
Date: Mon Dec 5 20:07:23 2016 
Version: V7.1.0.2799 

Bug Summary 


Results in this analysis run are based on analyzer build checker-279. 
Bug Type Quantity Display? 
All Bugs 24 加 
API Misuse (Apple) 


Improper use of 'dispatch once' (7) 


Coding conventions (Apple) 
NSError** null dereference 

Core Foundation /Objective-C 
Missing "self = [(super or self) init...]" 
Dead store 

Dead assignment 

Dead increment 

Dead initialization 

Logic error 

Assigned value is garbage or undefined 
Dereference of null pointer 

Memory (Core Foundation/Objective-C) 
Bad release 

Leak 

Leak of returned object 

Memory error 

Nullability 

Unix API 


Allocator sizeof operand mismatch 


图 1-2 ”Scan-Build 工 具 发 现代 码 缺 陷 统 计 图 


采用 Infer 工 具 发 现代 码 缺 陷 统 计 图 如 图 1-3 所 示 ， 共 发 现 1275 处 缺陷 。 


DIRECT ATOMIC PROPERTY ACCESS: 588 
BAD POINTER COMPARISON: 215 
MEMORY LEAK: 148 
PARAMETER NOT NULL CHECKED: 126 
NULL DEREFERENCE: 86 
REGISTERED OBSERVER BEING DEALLOCATED: 34 
IVAR NOT NULL CHECKED: 32 


RETAIN CYCLE: 19 
ASSIGN POINTER WARNING: 12 
PREMATURE NIL TERMINATION ARGUMENT: 7 
RESOURCE LEAK: 4 
SIRONG DELEGATE WARNING: 4 


Found 1275 issues 


图 1-3 Infetr 工 具 发 现代 码 缺 陷 统 计 图 


每 日 构建 版 本 时 ， 配 置 工程 会 自动 采用 这 两 款 工 具 对 工程 代码 进行 静态 代码 分 析 ， 这 样 在 测试 任务 前 就 能 发 现代 码 缺 陷 ， 大 大 降低 软件 缺陷 修复 成 本 。 


品质 管理 分 为 两 大 类 ， 即 研发 品质 和 线 上 品质 。 
Hema: 包括 品质 体系 (性 能 指标 + 用 户 评测 ) 、 测 试 过 程 数据 (Bug、 通 过 率 ) 。 
线 上 品质 : 包括 线 上 数据 、 用 户 反 馈 、 漏 测 率 。 


品质 体系 ， 除 产品 本 身 的 特性 功能 外 ， 还 包含 流畅 度 、 内 存 、 耗 电量 、 启 动 速度 、 弱 网 络 等 功能 ， 是 用 户 体验 能 感知 或 者 影响 用 户口 碑 的 。 同 时 需要 思考 各 个 指标 的 比重 (主要 考虑 对 用 户 的 影响 程 
度 ) , 这样 可 以 更 好 地 优化 核心 指标 。 


线 上 品质 ， 研 发 品质 的 指标 都 可 以 通过 预 设 在 被 测 App 里 的 埋 点 上 报 上 来 ， 这 样 就 有 了 线 上 数据 。 用 户 反 馈 主要 是 通过 各 反馈 渠道 收集 用 户 的 反馈 信息 。 通 过 对 用 户 反 馈 信息 的 分 析 ， 可 以 得 知 哪些 间 
题 是 应 当 提 前 发 现 而 漏出 去 的 。 漏 出 去 的 问题 有 些 可 能 是 因为 测试 工程 师 测试 设计 窗 盖 不 全 导致 的 ， 有 些 可 能 是 因为 开发 直接 修改 没 经 过 测试 引起 的 ， 有 些 可 能 是 运营 活动 引起 的 。 


上 面 提 到 了 品质 体系 ， 那 么 具体 的 产品 品质 如 何 衡量 ”很 多 公司 都 以 Bug 来 衡量 ， 除 Bug 外 ， 还 有 一 些 指标 大 家 会 用 到 ， 例 如 代码 质量 、 代 码 覆 盖 率 、 测 试 过 程 数据 。 性 能 指标 、 用 户 评测 、 用 户 反 馈 
和 线 上 数据 。 具 体 解释 参考 如 下 。 


. 代码 质量 : 指 静 态 代码 扫描 、 架 构 评 审 、 代 码 规 范 、 代 码 评审 。 

. 代码 覆盖 率 : 指 行 覆 盖 、 类 和 履 盖 、 条 件 履 盖 、 分 支 履 盖 。 

测试 过 程 数据 : 指 测试 通过 率 、 回 归 通 过 率 。 

性 能 指标 : 指 启 动 时 间 、 响 应 时 间 、 内 存 、 流 畅 度 (FPS) 、CPU、 耗 电量 。 
- 用 户 评 测 : 指 产品 进行 用 户 调研 、 用 户 体验 、 用 户 问 卷 调查 等 。 

- 用 户 反 馈 : 指 用 户 反馈 的 问题 或 者 建议 。 


£k Es: 指 上 线 后 的 产品 数据 ， 如 启动 时 间 、 用 户 行 为 数据 。 


' Bug: 指 Bug 模 块 分 类 (FTA) 、Bug 各 研发 阶段 数据 、Bug 分 析 。 


对 于 产品 度量 ， 腾 讯 各 产品 的 度量 方式 也 各 有 特色 ， 图 1-4 所 示 是 浏览 器 品质 体系 的 一 小 部 分 ， 仅 供 参考 。 


核心 功能 f 


图 片 打 开 耗 时 


图 1-4 浏览 器 品质 体系 GU 
关于 产品 品质 的 衡量 ， 不 少 公司 还 是 以 Bug 来 衡量 的 ， 下 面 先 重点 介绍 Bug 维 度 。 


引用 Elisabeth Hendrickson 在 文章 《BETTER TESTING-WORSE QUALITY? 》 中 的 图 来 说 明 “质量 ”的 相关 概念 ， 如 图 1-5 所 示 。 
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图 1-5 ”Bug 分 析 模 型 


图 1-5 中 左边 的 三 部 分 是 跟 Bug 相 关 的 ， 分 别 是 “已 知 Bug” “未 知 Bug” 和 “预防 Bug” ， 右 边 两 部 分 分 别 是 开发 质量 工作 和 测试 质量 工作 。 
. 开发 质量 工作 : 涉及 架构 评审 、 代 码 规范 、 代 码 评审 、 单 元 测试 、 开 发 自 测 等 。 


. 测试 质量 工作 : 需求 评审 、 用 例 设 计 (利用 测试 建 模 、 测 试 分 析 等 方法 来 提升 测试 设计 履 盖 度 ) 、 自 动 化 测试 (BVT 或 者 接口 测试 等 ) 、 性 能 测试 、 精 准 测试 、 探 索 式 测试 、 基 于 风险 测试 
(RBT) 、Bug 大 扫除 、Bug 分 析 、Bug 统 计 、 众 测 等 。 测 试 质量 工作 涉及 的 内 容 很 多 ， 可 以 考虑 再 抽 练 几 个 分 类 ， 如 图 1-6 所 示 。 


而 这 些 测试 质量 工作 的 开展 还 需要 借助 一 些 平台 和 工具 才 可 以 更 高 效 地 完成 ， 如 图 1-7 所 示 。 
测试 质量 工作 除 品质 体系 外 ， 还 包含 工程 效率 。 对 于 工程 效率 ， 测 试 团队 一 般 围绕 两 个 主题 来 开展 : 测试 效率 提升 和 可 测 性 扩展 。 


- 测试 效率 提升 : 可 以 通过 项 目 流程 的 规范 、 测 试 方法 论 应 用 、 自 动 化 测试 的 应 用 等 工作 ， 从 而 更 高 效 地 达到 工作 预期 。 


品质 体系 建设 

测试 设计 ( 测试 建 模 HTSM、ACC 等 ) 
探索 式 测 试 
Bug2it i F Bug 分 析 
众 测 

用 户 数 据 控 掘 
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性 能 测试 (终端 性 能 : 流畅 度 、 内 存 、 耗 电量 、 局 动 时 间 等 ;后 台 性 能 : 否 吐 量 
响应 时 间 、 错 误 率 、CPU 、 磁 盘 I0 、 网 络 状态 等 ) 
精准 测试 〈 代 码 跟 用 例 对 应 ) 

代码 逻辑 分 析 (流程 梳理 、 模 块 关联 梳理 ) 
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测试 质量 工作 
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微观 方 回 ( 8377 In] ) 


图 1-6 测试 质量 工作 分 类 


测试 工具 ( 性 能 测试 工具 ) 
测试 工具 /测试 平台 一 一 一 目 动 化 测试 框架 (UITesting, Appium ) 


测试 平 全 (组织 各 类 测试 活动 平台 ) 


图 1-7 测试 平台 和 工具 


- 可 测 性 扩展 : 可 以 联合 开发 做 一 些 可 测 性 提升 的 工作 ， 例 如 接口 暴露 、 代 码 解 辜 等 。 当 然 ， 也 可 以 尝试 覆盖 更 多 没有 窗 盖 的 内 容 ， 例 如 有 些 项 目 终 端 类 测试 开展 不 错 ， 就 可 以 考虑 加 强 后 人 台 接 口 的 履 
; 还 有 黑金 类 测试 ， 可 以 考虑 白金 类 测试 或 者 灰 金 类 测试 等 。 


p 


总 的 来 说， 测试 质量 工作 一 方面 是 做 得 更 快 ， 另 一 方面 是 做 得 更 多 。 
通过 上 面 对 各 个 模块 的 分 析 ， 我 们 再 把 上 面 提 到 质量 保证 的 各 项 工作 映射 到 Elisabeth Hendrickson 的 图 上 ， 如 图 1-8 所 示 。 
1. 已 知 Bug 


团队 成 员 在 测试 过 程 中 发 现 的 Bug (包括 但 不 局 限于 Code review, show case、dogfood、 测 试 发 现 的 Bug 等 ) 。 这 些 Bug 一 般 都 会 记录 到 Bug 系 统 中 (例如 腾讯 的 TAPD) ， 这 样 就 可 以 方便 进行 分 
析 ， 例 如 Bug 分 布 模块 (浏览 模块 、 支 付 模块 、 个 人 中 心 等 ) 、 各 FT 的 分 布 (有 可 能 跟 模 块 有 关联 ) 、 各 研发 阶段 (迭代 、 集 成 、 上 线 前 等 ) 、 严 重 级 别 等 。 通 过 对 Bug 系 统 性 分 析 来 评估 待 发 布 产品 的 质 
量 风 险 ， 这 样 可 以 给 予 决 策 者 更 好 的 数据 支持 。 当 然 ， 有 些 Bug 是 可 以 挂 起 的 ， 不 一 定 所 有 都 需要 修复 。 
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图 1-8 Bug 分 析 及 测试 工作 模型 
2. 未 知 Bug 


产品 发 布 之 前 未 发 现 的 Bug， 发 布 后 通过 海量 用 户 反 馈 的 问题 或 者 通过 统计 埋 点 上 报 的 问题 。 因 为 用 户 的 机 型 网 络 以 及 数据 环境 等 因素 可 能 触发 潜在 Bug (而 这 些 Bug 是 整个 团队 研发 过 程 中 很 难 出 现 或 
者 偶尔 出 现 漏 过 的 ) ， 借 助 海量 用 户 可 以 放大 出 现 的 概率 ， 然 后 用 户主 动 反 馈 或 者 被 动 埋 点 上 报 可 以 收集 到 这 类 潜在 Bug.。 


一 般 产 品 里 都 有 用 户 有 反馈 意见 的 入 口 ， 通 过 这 个 入 口 可 以 收集 用 户 使 用 过 程 中 的 问题 或 者 意见 。 同 时 有 些 产 品 会 对 某 些 关键 逻辑 路 径 进 行 埋 点 ， 这 样 ， 只 要 用 户 使 用 过 程 中 触发 这 个 埋 点 ， 就 会 自动 上 
报到 后 台 。 主 动 上 报 的 数据 就 可 以 进行 统计 分 析 ， 这 类 数据 统计 可 能 区 别 于 用 户 行为 的 统计 ， 更 多 的 是 某 个 逻辑 或 者 路 径 的 上 报 。 针 对 这 些 上 报 的 数据 进行 数据 挖 气 ， 可 以 帮助 发 现 某 些 问题 最 有 可 能 出 现 
的 场景 ， 进 而 可 以 再 结合 众 测 用 户 进行 重 现 ， 最 后 解决 这 些 问 题 。 


3. 预 防 Bug 


主要 通过 一 些 流程 或 者 机 制 充 分 体验 产品 ， 提 前 发 现 一 些 潜在 Bug， 例 如 通过 需求 评审 、Showcase、DogFood 等 手段 ， 全 员 积 极 参与 各 阶段 产品 的 体验 ， 就 可 能 提前 发 现 一 些 需求 问题 或 者 设计 问题 


* 需求 评审 : 需要 各 方 角色 (产品 、 开 发 、 测 试 、PM、 设 计 等 ) 都 能 投入 精力 讨论 PK， 这 样 可 以 提前 把 不 合理 的 需求 扼杀 在 播 篮 中 。 
' Showcase: 各 个 和 迭代 完成 后 ，PM 可 以 组 织 各 个 角色 参与 体验 ， 尽 早 发 现 潜在 问题 ， 例 如 某 些 设计 问题 或 者 体验 上 的 问题 ， 快 速 返 工 ， 避 免 后 期 返工 带 来 更 大 的 人 力 消耗 。 
DogFood: 通过 村 续集 成 编译 出 版 本 后 (有 重点 需求 说 明 ) ， 发 送 给 团队 各 成 员 体验 ， 及 时 快速 发 现 问题 。 这 里 更 强调 产品 质量 需要 全 员 的 参与 。 


质量 工作 涉及 方方面面 以 及 各 个 角色 ， 同 时 必须 考虑 人 力 、 时 间 等 因素 ， 还 得 考虑 项 目的 市 场 竞争 状况 ， 这 样 才能 平衡 好 以 上 各 项 措施 的 选择 。 


1.4 测试 分 析 


1.4.8 ” 黑 盒 测试 分 析 


“ 黑 盒 测试 是 软件 测试 的 主要 方法 之 一 ， 也 可 以 称 为 功能 测试 、 数 据 驱 动 测试 或 基于 规格 说 明 的 测试 。 测 试 者 无 须 了 解 程序 的 内 部 情况 ， 无 须 掌握 应 用 程序 的 代码 、 内 部 结构 和 编程 语言 的 知识 ， 只 要 
知道 程序 的 输入 、 输 出 和 系统 的 功能 即 可 。 这 是 从 用 户 的 角度 针对 软件 界面 、 功 能 及 外 部 结构 进行 测试 ， 而 不 考虑 程序 内 部 逻辑 结构 。” 这 段 关 于 黑 盒 测试 的 定义 参考 自 维基 百科 。 


盒 测 试 也 是 应 用 最 广 的 方法 之 一 ， 不 少 公 司 都 是 以 黑 盒 测试 为 主 。 那 么 黑 盒 测试 有 什么 不 足 呢 ? 我 们 先 看 看 《微软 的 软件 测试 之 道 》 对 黑 盒 测试 的 分 析 ， 如 图 1-9 所 示 。 


图 1-9 E SX A 


图 1-9 中 的 A 代表 黑 盒 测试 的 没 覆 盖 部 分 ，B 代 表 黑 盒 测 试 的 元 余部 分 ，C 代 表 黑 盒 测试 的 有 效 部 分 。 

从 业界 的 统计 数据 来 看 ， 有 效 测 试 部 分 的 百分比 范围 为 35%~65%。 从 图 1-9 来 看 ， 要 提升 有 效 测试 部 分 比例 ， 就 要 把 右边 的 圆 (B+C) 往 左 移 动 ， 尽 可 能 使 两 个 圆 重合 面积 (C) 增 大 。 可 以 看 出 优化 
测试 策略 有 两 个 方向 : 一 是 增加 有 效 测试 ， 二 是 减少 匈 余 测 试 或 者 无 效 测试 。 

1. 增 加 有 效 测 试 

增加 有 效 测 试 的 方法 有 两 种 : 一 是 加 强 相关 评审 ， 二 是 应 用 业界 的 测试 方法 或 者 测试 建 模 思想 。 

加 强 相 关 评 审 是 从 源头 的 需求 抓 起 ， 加 强 对 需求 的 评审 ， 多 从 用 户 角 度 思考 相关 可 用 性 及 可 能 场景 等 。 测 试用 例 设计 的 评审 ， 以 及 加 强 对 产品 开发 等 角色 用 例 的 评审 。 

应 用 业界 的 测试 方法 或 者 测试 建 模 思想 (详细 方法 参考 第 3 章 的 内 容 ) ， 需 要 在 测试 用 例 设计 的 时 候 尽 可 能 地 覆盖 更 多 功能 ， 这 就 需要 大 家 充分 利用 业界 各 种 先进 的 测试 模型 来 设计 测试 用 例 ， 这 样 可 以 
更 科学 、 更 高 效 地 扩大 有 效 测试 范围 。 如 果 有 条 件 的 话 ， 可 以 通过 阅读 开发 代码 来 梳理 相关 逻辑 ， 这 样 用 例 设计 的 用 盖 面 会 更 全 。 

2. 减 少见 余 测试 

减少 元 余 测 试 可 以 通过 减少 无 效用 例 或 者 低 成 效 的 用 例 、 优 化 精简 测试 用 例 等 方式 进行 。 


减少 无 效用 例 或 者 低 成 效 的 用 例 ， 详 细 方 法 可 以 参考 1.6 节 的 数据 反 推 。 根 据 用 例 模块 化 划分 ， 对 Bug 根 据 模块 (TAPD 上 相应 的 模块 选项 ) 进行 分 类 ， 统 计 每 个 模块 出 现 Bug 的 个 数 ， 如 果 多 次 执行 后 
Bug 个 数 少 的 模块 ， 优 先 级 就 降低 。 如 果 客 户 端 架构 稳定 后 ， 对 于 后 续 新 功能 没有 涉及 的 这 些 模块 ， 则 可 以 考虑 不 执行 相关 用 例 。 后 续 在 每 次 集成 测试 后 ， 测 试 结果 都 必须 保存 ， 统 计 经 常 出 现 Bug 的 相关 
用 例 ， 优 化 和 增加 相关 测试 用 例 ， 并 且 同 步 到 各 个 平台 。 


优化 精简 测试 用 例 ， 可 以 借助 代码 履 盖 率 作 为 标准 ， 执 行 原来 的 用 例 和 精简 优化 后 的 用 例 ， 如 果 两 者 的 代码 覆盖 率 差 不 多 ， 那 就 达到 目的 了 。 通 过 代码 覆盖 率 测试 ， 还 可 以 找 出 没有 执行 过 的 元 余 代 
码 ， 这 样 可 以 减少 安装 包 的 大 小 。 借 助 精准 测试 方法 ， 通 过 精准 测试 系统 ， 分 析 测 试用 例 以 及 代码 映射 关系 ， 可 以 进一步 确定 测试 用 例 的 覆盖 情况 。 这 样 就 可 以 选择 适当 的 测试 用 例 保证 合理 的 覆盖 度 。 详 
细 的 原理 方法 可 以 参见 第 10 章 。 
1.4.2 Egi T 

上 文 提 到 的 优化 测试 策略 都 是 从 黑 盒 的 角度 进行 分 析 的 ， 因 为 黑 盒 测试 有 局 限 性 ， 测 试 有 效 代码 覆盖 率 只 有 35%~65% ， 那 么 如 何 保证 黑 盒 测试 没有 测试 到 的 部 分 代码 的 稳定 性 和 可 靠 性 ， 就 需要 进行 


盒 测 试 。 业 界 通常 采用 的 是 单元 测试 。 通 过 合适 的 单元 测试 ， 可 以 让 代码 覆盖 率 达 到 759% 以 上 。 但 是 由 于 单元 测试 的 工作 量 比较 大 ， 刚 开始 不 可 能 对 全 部 代码 进行 单元 测试 ， 所 以 可 以 考虑 先 用 黑 盒 测 
试 ， 借 助 代码 覆盖 率 工 具 ， 找 出 黑 盒 测 试 没有 覆盖 到 的 代码 或 模块 (有 可 能 某 些 代码 属于 见 余 或 者 死 代码 ) ， 然 后 对 这 部 分 代码 进行 单元 测试 ， 这 样 可 以 最 大 限度 地 提高 覆盖 率 ， 更 好 地 保证 代码 质量 。 


1.5 测试 设计 
测试 设计 是 一 个 系统 性 工程 ， 涉 及 内 容 比较 多 ， 从 前 期 需求 分 析 到 用 例 设 计 ， 再 到 各 类 数据 的 分 析 等 。 下 面 我 们 择 取 主 流 的 理论 来 看 一 下 。 
1.5.1 “探索 式 测 试 


探索 式 测 试 是 目前 业界 比较 流行 的 一 种 测试 风格 ， 是 由 测试 专家 Cem Kaner 博 士 于 1983 年 提出 的 ， 后 来 经 过 James Bach, James Whittaker 等 人 的 发 展 流行 起 来 。 国 内 大 多 数 人 是 因为 James 
Whittaker 57 (Exploratory Software Testing) (探索 式 软件 测试 ) 一 书 才 了 解 探索 式 测试 ， 并 逐渐 开始 应 用 探索 式 测试 ， 国 内 的 互联 网 公司 基本 都 会 使 用 探索 式 测试 。 


探索 式 测 试 建 议 在 整个 项 目 过 程 中 将 测试 学 习 、 测 试 设 计 、 测 试 执行 和 测试 结果 解读 作为 相互 支持 的 活动 ， 并 行 地 执行 。 可 用 图 1-10 来 说 明 。 
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图 1-10 ”探索 式 测试 模型 图 


探索 式 测试 目前 已 经 充分 应 用 到 腾讯 公司 的 各 个 产品 中 ， 具 体 实践 案例 请 参见 第 8 章 的 介绍 。 
1.5.2 ”基于 模型 的 测试 


基于 模型 的 测试 (Model-Based Testing, MBT) 是 根据 用 户 的 需求 建 模 ， 进 而 根据 模型 自动 生成 用 例 、 自 动 执 行 验证 过 程 的 测试 方式 。 图 1-11 引 用 自 《什么 是 基于 模型 的 测试 》[ 包 。 


基于 模型 的 测试 在 传统 软件 行业 应 用 较 多 ， 例 如 爱立信 以 及 西门 子 使 用 比较 广泛 ， 国 内 的 华为 也 有 一 些 改进 应 用 。 互 联网 公司 如 BAT 也 有 一 些 尝 试 ， 不 过 没有 太 大 规模 应 用 起 来 。 在 腾讯 内 部 ， 有 些 项 
目 也 在 尝试 MBT， 不 过 目前 还 没有 很 好 的 典型 案例 ， 这 里 就 不 展开 介绍 。MBT 对 测试 人 员 的 建 模 能 力 有 很 高 的 要 求 ， 同 时 学 习 成 本 也 相对 较 高 ， 整 体 收益 周期 较 长 ， 所 以 比较 难 普及 起 来 。 
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图 1-11 基于 模型 的 测试 
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1.6 “数据 反 推 
1.6.1. ”测试 过 程 中 的 数据 


测试 数据 反 推 一 一 充分 利用 各 类 测试 数据 的 优化 流程 ， 进 一 步 保障 产品 的 质量 。 在 各 阶段 的 测试 过 程 中 会 产生 大 量 数 据 ， 例 如 Bug 数 据 、 测 试 通过 率 、 回 归 通 过 率 等 。 那 么 如 何 充 分 利用 这 些 数 据 呢 ? 
前 面 已 对 已 知 Bug 以 及 未 知 Bug 进 行 了 讨论 。 现 在 换个 角度 ， 从 Bug 产 生 的 阶段 来 分 析 ， 图 1-12 是 不 同 阶段 Bug 修 复 成 本 曲线 。 


Cost of Fixing Software Bugs 
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图 1-12 ”不同 阶段 Bug 的 修复 成 本 站 


针对 Bug 各 阶段 的 分 析 ， 根 据 图 1-12 中 Bug 越 早 发 现 解 决 成 本 越 低 的 结论 ， 需 要 尽 可 能 在 最 早 引 入 的 阶段 发 现 Bug。 针 对 某 些 阶段 漏 过 的 Bug 分 析 ， 要 尽 可 能 完善 测试 设计 覆盖 ， 避 免 Bug 都 留 到 集成 阶 


段 帮 现 ， 降 低 版 本 延期 发 布 风险 ， 从 而 开发 出 更 高 效 的 发 布 版 本 。 


例如 某 个 项 目 ， 集 成 测试 发 现 的 Bug 占 比 只 有 整个 版 本 (所 有 各 分 支 版 本 ) 发 现 Bug 的 3%~6%， 这 些 Bug 大 多 是 分 支 合流 跟 主 干 耦合 的 问题 ， 还 有 一 些 是 机 型 覆盖 或 者 运营 配置 问题 。 大 多 数 Bug 都 已 
经 在 各 FT (Feature Team， 特 性 模块 ) 分 支 上 发 现 了 ， 这 样 集成 后 的 发 布 风险 就 会 大 大 降低 ， 加 快 了 发 布 速度 。 图 1-13 是 FT 分 支 的 合流 模型 ， 各 个 分 支 FT 都 能 充分 保证 质量 ， 这 样 合 流 后 集成 测试 问题 就 
很 少 了 。 
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图 1-13 分支 合流 研发 模式 


也 许 有 人 会 说 3%~69% 并 不 算 少 ， 确 实 ， 不 同 项 目 有 不 同 要 求 。 这 里 介绍 的 思路 就 是 充分 利用 这 些 数据 去 思考 与 分 析 ， 推 动 团 队 采 取 动 作 ， 逐 步 降低 该 比例 ， 逐 步 降低 发 布 风险 ， 提 升 发 布 效率 。 分 支 合 
流 模型 的 测试 如 何 开展 是 另外 一 个 话题 ， 不 过 大 体 思 路 都 差不多 ， 除 了 基本 持续 集成 外 ， 还 需要 自动 化 测试 BVT、 接口 测试 、 终 端 性 能 测试 等 ) 的 支持 ， 才 能 快速 支持 分 支 合流 的 快速 研发 模型 。 


再 举 一 个 例子 ，Bug 各 模块 分 布 ， 有 些 模块 Bug 问 题 比 较 多 ， 可 能 需要 特别 关注 测试 ， 因 为 根据 测试 的 二 八 法 则 一 一 80% 的 缺陷 出 现在 20% 的 代码 中 ， 所 以 对 这 些 模块 需要 多 分 析 多 做 测试 ， 这 样 可 以 
更 大 可 能 发 现 潜在 问题 。 一 般 来 说 ， 不 同 模块 会 对 应 不 同 的 开发 团队 或 者 FT， 也 可 以 通过 Bug 来 评估 开发 团队 (或 者 FT) 的 成 熟 度 ， 根 据 不 同 的 开发 团队 (FT) 制定 相应 的 改善 措施 ， 用 数据 说 话 ， 这 样 更 
好 地 推动 团队 的 正 向 优化 。 表 1-1 所 示 的 是 另外 一 个 项 目 团队 某 个 版 本 的 各 个 FT 存在 的 缺陷 占 比 ， 从 表 中 可 以 看 出 模块 A 是 缺陷 高 发 区 ， 出 现 这 种 情况 需要 和 对 应 模块 的 负责 人 进行 沟通 ， 细 查 原因 ， 以 利于 
改进 。 


表 1-1 场景 操作 讲义 及 举例 


FT 名 称 缺陷 占 比 
BRE A 63% 
FREIER B 16% 
Bit C 11% 
模块 D 7% 
BU E 3% 


以 上 仅仅 是 从 Bug 模 块 分 布 来 分 析 Bug 数 据 ， 其 实 还 可 以 从 很 多 维度 (从 开发 人 员 的 维度 、 用 户 行为 的 维度 等 ) 去 挖掘 Bug 数 据 ， 充 分 利用 Bug 数 据 来 优化 测试 设计 ， 提 升 测试 效率 。 
1.6.2 线 上 数据 


以 上 介绍 的 大 多 是 与 研发 过 程 品质 相关 的 ， 其 实 还 有 一 个 很 重要 的 方向 就 是 线 上 品质 ， 通 过 线 上 海量 用 户 上 报 的 数据 来 度量 产品 品质 。 大 多 数 情况 下 ， 研 发 过 程 品 质 始终 无 法 保证 线 上 品质 。 比 如 用 户 


反馈 的 重 现 问 题 ， 就 是 线 上 用 户 反 馈 的 问题 我 们 怎么 也 重 现 不 了 ， 即 使 严格 按照 用 户 的 步骤 、 机 型 、 网 络 等 场景 也 重 现 不 了 。 研 发 过 程 中 测试 的 数据 跟 线 上 用 户 的 数据 对 应 不 上 ， 例 如 某 个 产品 的 启动 速 


度 ， 研 发 过 程 中 测试 的 启动 时 间 是 2.3 秒 (测试 20 次 取 平 均值 ) ， 而 线 上 用 户 上 报 的 数据 是 3.2 秒 (20 万 个 用 户 上 报 的 平均 值 ) 。 


业界 也 有 相关 测试 方法 ， 例 如 微软 公司 提出 的 TiP (Testing in Production) ， 就 是 通过 版 本 上 线 后 海量 用 户 上 报 各 类 数据 来 友 现 潜在 的 问题 。 测 试 人 员 需 要 关注 各 类 性 能 数据 ， 例 如 启动 速度 、 内 存 、 
流畅 度 、 响 应 时 间 、Crash 率 等 。 因 为 用 户 的 机 型 、 网 络 、 地 域 、 数 据 环境 不 同 ， 所 以 不 同 用 户 上 报 的 数据 差异 很 大 ， 这 里 需要 做 一 些 数据 统计 的 分 析 处 理 ， 才 能 更 好 地 展现 出 来 。 由 于 线 上 环境 的 复杂 


性 ， 线 上 数据 反映 的 结果 会 比 测试 数据 差 一 些 。 


那么 如 何 通过 线 上 数据 来 分 析 定 位 问题 呢 ” 主要 的 方法 就 是 对 某 些 指标 进行 详细 埋 点 上 报 ， 这 样 才能 获得 更 详细 数据 并 进行 分 析 ， 最 后 找到 问题 所 在 。 还 是 以 某 个 产品 的 启动 速度 为 例 来 说 明 (启动 速 


度 是 指 用 户 点 击 应 用 图 标 开 始 到 拉 取 完 数据 展示 给 用 户 的 这 个 时 间 段 ) 。 


App 启 动 后 就 会 到 后 台 服 务 器 拉 取 数据 ， 从 大 的 方向 来 看 ， 需 要 区 分 后 台 服 务 器 耗 时 以 及 App 处 理 的 耗 时 ， 这 样 可 以 方便 前 端 或 者 后 台 解 决 问题 。 如 图 1-14 所 展示 的 ， 
时 〈 其 中 也 包含 网 络 传输 的 耗 时 ) 。 一 般 可 以 通过 抓 取 网 络 包 分 析 得 出 相关 耗 时 。 


“等 待 响应 ”就 是 后 台 服 务 器 耗 
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图 1-14 ”启动 模型 


图 1-14 中 的 RTT (Round-Trip Time) 是 客户 端 到 服务 器 往返 所 人 花 的 时 间 。 


当然 ， 只 区 分 客户 端 跟 后 台 服 务 器 各 自 的 耗 时 是 远 远 不 够 的 ， 还 需要 细 分 到 每 个 主要 函数 的 耗 时 ， 这 样 才能 更 好 地 定位 具体 是 哪 部 分 耗 时 。 图 1-15 所 示 的 是 某 个 App 对 关键 函数 (节点 ) 的 日 志 统计 。 
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图 1-15 “关键 函数 (节点 ) 的 日 志 统 计 


图 1-15 只 是 启动 速度 这 个 指标 需要 记录 的 数据 ， 可 能 发 现 需 要 记录 的 数据 非常 多 ， 对 这 些 记 录 的 日 志 也 会 进行 分 级 ， 线 上 发 布 版 本 的 日 志 会 尽量 少 一 些 ， 不 过 关键 的 地 方 还 是 需要 记录 的 。 当 然 ， 版 本 
加 了 日 志 会 对 性 能 有 所 损耗 ， 不 过 在 可 接受 的 范围 内 ， 还 是 有 必要 的 ; 通过 线 上 版 本 的 数据 上 报 ， 可 以 得 到 用 户 真 实 的 数据 ， 发 现 潜在 问题 并 逐步 优化 ， 给 用 户 更 好 的 体验 ， 提 升 产品 口碑 。 


Qum 如 果品 质 体 系 的 各 个 指标 都 有 数据 上 报 ， 那 么 数据 量 将 非常 大 ， 对 数据 分 析 挖 据 要 求 就 会 更 高 ， 当 然 可 能 产生 的 价值 也 会 更 大 ， 这 样 更 要 重视 数据 的 测试 。 这 也 是 我 们 强调 线 上 数据 测试 的 
原因 。 


测试 数据 还 可 以 预测 即将 发 布 版 本 的 质量 ， 不 管 是 研发 过 程 还 是 灰 度 阶段 ， 都 将 会 产生 很 多 测试 数据 。 那 么 是 否 可 以 充分 利用 这 些 数据 来 预测 上 线 版 本 的 质量 趋势 呢 ” 这 确实 是 一 个 方向 ， 但 是 需要 大 
量 的 测试 数据 才 可 能 有 机 会 预测 靠 谱 。 因 为 线 上 用 户 的 各 种 机 型 系统 、 网 络 状 况 、 用 户 环境 数据 ， 这 些 都 很 难 在 上 线 前 的 环境 覆盖 到 ， 所 以 就 很 难 预测 线 上 版 本 的 质量 。 如 果 灰 度 群 体 足 够 ， 那 么 还 是 有 机 
会 的 。 腾 讯 内 部 的 很 多 项 目 ， 产 品 稳定 性 问题 (Crash 率 ) 都 是 通过 灰 度 来 发 现 问 题 的 ，Crash 率 达到 一 定 程度 ， 就 可 以 进一步 扩大 灰 度 规模 ， 逐 步 迭 代 放 大 灰 度 数量 ， 直 至 上 线 。 


1.7 未 来 的 测试 


这 一 节 内 容 都 是 笔者 畅想 的 ， 如 有 雷同 ， 纯 属意 外 。 
移动 互联 网 时 代 ， 特 别 是 Native 的 ApPp， 版 本 更 新 的 成 本 很 高 ( 除 时 间 成 本 ， 还 有 对 用 户 体验 的 影响 ) ， 所 以 大 多 数 App 都 会 经 过 充分 的 测试 再 发 布 版 本 。 


随 着 热 补丁 (hotfix) 技术 的 演进 以 及 H5 的 流行 ， 可 以 不 需要 发 布 新 版 本 而 发 布 一 个 补丁 就 可 以 友 布 新 功能 或 者 修复 问题 (而 且 用 户 基本 无 感知 ， 不 需要 安装 过 程 ， 下 次 启动 就 自动 更 新 了 ) ， 这 样 就 
可 以 在 没有 充分 测试 的 情况 下 ， 快 速 通 过 用 户 来 验证 。 这 样 对 测试 的 依赖 可 能 会 越 来 越 小 。 那 么 未 来 的 产品 都 是 通过 用 户 ( 灰 度 或 者 正式 上 线 ) 直接 验证 吗 ? 


应 该 不 可 能 全 部 都 通过 用 户 来 验证 ( 灰 度 或 者 正式 上 线 ) ， 不 经 过 测试 而 直接 上 线 ， 可 能 出 现 问 题 的 概率 会 增 大 ， 如 果真 的 出 现 问 题 ， 那 么 会 对 产品 的 口碑 带 来 很 大 的 影响 。 但 是 热 补丁 技 术 确 实 是 可 
以 快速 修复 问题 的 方案 ， 以 后 会 被 逐步 应 用 。 即 使 利用 热 补丁 技术 ， 还 是 需要 度量 产品 品质 的 ， 例 如 线 上 用 户 各 类 性 能 指标 以 及 用 户 反馈 等 ， 对 于 品质 的 追求 还 是 始终 存在 的 ， 也 就 是 仍 需 要 有 人 来 做 品质 
这 样 的 工作 。 


1.7.51. 线 上 数据 挖掘 


既然 线 上 数据 会 越 来 越 重要 ， 那 么 就 需要 一 整套 埋 点 上 报 体 系 (终端 是 SDK 形 式 ， 服 务 端 存 储 各 类 数据 ) ， 同 时 对 上 报 数据 进行 数据 分 析 ， 可 能 需要 利用 到 机 器 学 习 等 技术 分 析 数 据 ， 判 断 是否 有 潜在 
问题 。 数 据 上 报 体 系 是 每 个 App 都 有 的 基本 功能 ， 包 含 需要 关注 具体 上 报 什 么 信息 ， 例 如 ， 


(1) 路 径 埋 点 : 关键 路 径 的 埋 点 。 

(2) 错误 码 信息 : 统一 错误 码 设计 ， 方 便 排 查 。 

(3) AA: 堆栈 调用 信息 。 

(4) 方法 跟 路 : 函数 方法 的 链条 。 

(5) 用 户 动作 : 用 户 操作 路 径 (可 以 详细 到 用 户 何 时 点 击 哪 个 控件 ) 。 

(6) 机 型 网 络 信息 : 基础 手机 信息 收集 。 

(7) 性 能 指标 (内存 /CPU/FPS) : 各 类 性 能 指标 的 消息 速度 /流量 /函数 调用 时 间 。 


在 对 App 全 方位 埋 点 后 ， 就 会 有 上 报 的 数据 ， 哪 些 数据 需要 进行 分 析 ， 具 体 分 析 方 法 各 种 各 样 ， 如 图 1-16 所 示 。 该 图 主要 描述 了 一 种 线 上 数据 分 析 模 型 ， 包 括 数据 收集 容器 、 数 据 分 析 容 器 、Bug 处 理 


ABE 一 ZLA 
容器 三 个 部 分 。 


数据 挖掘 容器 


最 常见 callstack 
机 型 信息 聚 类 
浏览 器 信息 聚 类 
手机 状态 聚 类 


图 1-16” 线 上 数据 分 析 模 型 


如 果 埋 点 上 报 体系 建设 完善 ， 任 何人 (Dogfood、Showcase、 众 测 、 灰 度 等 ) 只 要 体验 产品 ， 就 是 给 产品 做 测试 ， 这 样 就 会 上 报 很 多 数据 ， 再 系统 分 析 这 些 数据 ， 进 而 找到 某 些 潜在 问题 。 
1.72 -人工 各 能 


最 近 ，Facebook 发 布 聊天 机 器 人 Chatbot，Google 发 布 Google Assistant 以 及 Google Home 音 箱 ，Amazon 也 发 布 Echo 音 箱 ， 整 个 业界 的 发 展 趋势 变 成 从 App 演 进 到 Bot。 同 时 ，Google 的 战略 也 
从 Mobile First 转 变 为 Al First。 那 么 对 于 人 工 智 能 (Bot) ， 应 该 怎么 测试 呢 ? 


业界 暂时 还 没有 开源 或 者 公开 的 测试 方案 ， 可 能 各 公司 也 都 在 探索 中 ， 传 统 上 针对 Al 的 算法 测试 也 是 持续 演进 的 。 我 们 先 回 到 人 工 智能 本 身 ， 其 实 就 是 对 数据 的 智能 处 理 (这 也 是 拥有 大 数据 的 Google 
等 公司 的 人 工 智 能 快速 发 展 的 原因 之 一 ) ， 那 么 人 工 智能 测试 还 是 得 围绕 数据 进行 测 坛 。 当 然 ， 这 样 的 数据 是 海量 的 ， 因 此 要 采用 抽样 模型 进行 评测 。 总 的 来 说 ， 就 是 构建 以 及 收集 数据 样本 。 数 据 样本 的 
构建 ， 需 要 对 具体 处 理 数据 结构 足够 了 解 ， 然 后 通过 自动 化 方式 生成 样本 数据 。 同 时 ， 除 了 构建 样本 数据 ， 还 可 以 通过 另外 的 渠道 来 收集 用 户 数据 ， 例 如 众 测 或 者 众 包 的 方式 收集 样本 数据 。 


除了 对 数据 的 测试 外 ， 在 人 工 智能 出 现 后 ， 人 机 交互 方式 会 出 现 大 的 变化 ， 语 音 交 互 可 能 是 主要 交互 模式 之 一 ， 那 么 如 何 保证 优秀 的 用 户 体 验 呢 ? 交互 评测 需要 真实 用 户 的 参与 ， 首 先 设计 合理 的 评测 
问卷 ， 然 后 通过 众 测 或 者 众 包 等 平台 引入 不 同 用 户 的 参与 ， 通 过 双 盲 测试 收集 各 类 数据 。 同 时 也 会 通过 AB Test 来 收集 线 上 用 户 的 反馈 ， 不 断 改善 用 户 体验 。 


总 的 来 说 ， 人 工 智 能 测试 除了 对 AI 算法 的 测试 外 ， 还 需要 天 注 数 据 类 测试 + 交互 类 测试 。 
1.7.8 NMI 


上 面 提 到 的 线 上 数据 挖掘 (需要 各 种 机 型 、 网 络 、 数 据 环 境 等 ) 以 及 人 工 智 能 (数据 样本 采集 ) 都 需要 有 一 定量 的 真实 用 户 参与 ， 才 能 更 好 地 评测 产品 品质 。 那 么 可 能 就 需要 用 共享 经 济 的 方式 ， 快 速 
集合 一 群 合 适用 户 来 帮忙 做 评测 (收集 数据 或 者 产品 体验 等 ) ， 这 就 是 最 近 几 年 业界 流行 的 众 测 (RE) 模式 。 众 测 (RE) 模式 的 优点 如 下 。 


(1) 闭环 时 间 短 ， 沟 通 效率 高 : 因为 有 报酬 等 激励 ， 众 测 CEN) 用 户 积 极度 更 高 。 
(2) 定向 用 户 属 性 支持 : 众 测 (RE) 平台 会 收集 用 户 属性 ， 例 如 性 别 、 年 龄 、 职 务 、 学 历 等， 更 有 针对 性 地 向 合适 人 群 做 评测 。 
(3) 定向 设备 属性 支持 : XU (RE) 平台 会 收集 设备 属性 ， 例 如 机 型 、ROM、 网 络 、 地 域 等 ， 更 有 针对 性 地 向 合适 人 群 做 评测 ， 特 别 是 对 于 地 域 有 特殊 要 求 的， 可 以 快速 响应 。 


(4) 用 户 行为 高 度 可 控 、 可 刷机 、 可 支付 。 众 测 RE) 平台 的 用 户 都 是 相对 狂热 的 粉丝 ， 可 以 帮助 做 一 些 特 殊 操 作 ， 例 如 重复 刷机 、 重 复 尝 试 某 个 问题 。 
众 测 (RE) 的 具体 使 用 模式 大 概 有 以 下 几 类 。 

(1) 需求 评测 (评估 需求 的 适用 范围 等 ) 。 

(2) 机 型 覆盖 测试 (覆盖 各 类 机 型 适 配 情况 ) 。 

(3) 重要 问题 复 现 〈 某 些 问 题 的 复 现 ) 。 

(4) 大 量 数 据 收集 (数据 标准 类 ) 。 

(5) 问卷 调查 收集 (用 户 调研 ) 。 


(6) 复杂 环境 评测 〈 某 些 功能 的 评测 ) 。 


众 测 (RE) 使 用 可 能 是 一 个 趋势 ， 有 能 力 的 公司 可 以 逐步 建设 这 样 的 平台 ， 这 样 能 更 快 地 验证 产品 ， 产 品 验证 的 成 本 会 更 低 。 


Qua 腾讯 公司 建设 了 一 个 众 测 的 平台 (http://tesly.qq.com) ， 有 需要 的 读者 可 以 去 看 看 。 


1.8 小 结 


通过 本 章 的 内 容 ， 先 和 读者 建立 了 一 个 测试 基础 共识 ， 便 于 接 下 来 的 章节 理解 。 总 体 来 说 ， 我 们 认为 测试 = 工程 效率 + 品质 管理 ， 如 何 提升 工程 效率 和 品质 管理 是 测试 提升 的 核心 内 容 。 在 测试 的 不 同 阶 
段 ， 测 试 分 析 、 测 试 设计 、 数 据 反 推 都 能 发 挥 一 定 的 作用 ， 未 来 的 空间 很 大 ， 需 要 我 们 一 起 去 探索 。 


第 二 部 分 iDS 特 色 测 试 


| 第 2 章 ， 走 进 iOS 

| 第 3 章 iOS 兼 容 性 测试 

. 第 4 章 iOS 性 能 测试 

S 第 5 章 iOS 自 动 化 测试 入 门 

. 第 6 章 iOS 测 试 框架 二 次 开发 


` 第 7 章 iOS 精 准 测试 


第 2 章 ” 走 进 iOS 
21 引言 


测试 观 介绍 完 后 ， 正 式 进 入 iOS 特 色 测 试 篇 ， 本 节 就 iDOs 平 台 的 基础 知识 进行 讲解 ， 而 iOs 平 台 的 移动 终端 包括 iPhone、iPad、iTouch， 本 章 将 以 iPhone 为 主要 介绍 对 象 ，iPad、iTouch 与 ijPhone 基 本 
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第 2 章 ” 走 进 iOS9 


测试 观 介绍 完 后 ， 正 式 进 入 iOS 特 色 测 试 篇 ， 本 节 就 iDOSs 平 台 的 基础 知识 进行 讲解 ， 而 iOs 平 台 的 移动 终端 包括 iPhone、iPad、iTouch， 本 章 将 以 iPhone 为 主要 介绍 对 象 ，iPad、iTouch 与 ijPhone 基 本 


2.2 ” iOS 平台 的 兴起 


随 着 科技 和 移动 互联 网 技术 的 进步 ， 智 能 移动 硬件 设备 的 迅猛 发 展 ， 曾 经 辉煌 的 诺基亚 神话 已 经 不 在 ， 取 而 代 之 的 是 一 个 庞大 的 苹果 帝国 。 苹 果 公 司 原 称 苹果 电脑 公司 ， 由 史 蒂 夫 乔布斯、 史 蒂 夫 : 沃 效 
尼克 、 罗 纳 德 ` 韦 恩 等 于 1976 年 创立 ， 最 初 是 一 家 开发 和 销售 个 人 计算 机 的 公司 。2007 年 推出 第 一 代 iPhone 并 改名 为 苹果 公司 后 开始 将 重心 转移 到 消费 电子 领域 。 


从 2007 年 苹果 公司 发 布 的 第 一 代 iPhone 手 机 ， 到 2016 年 发 布 的 Phone 7， 苹 果 公 司 已 经 发 布 了 iTouch、iPhone、Apple Watch 和 ipPad 等 一 系列 高 端 智 能 移动 设备 。 在 全 世界 范围 内 掀起 了 一 股 苹果 
热 ， 一 夜 之 间 涌 现 了 无 数 疯 狂 的 果 粉 ， 尤 其 是 苹果 手机 ， 昌 然 价 格 不 菲 ， 依 然 有 无 数 人 为 了 抢购 到 最 新 的 Phone 不 惜 彻夜 排队 。 这 些 移动 设备 究竟 有 哪些 独特 的 优势 使 其 如 此 风靡 呢 ? 


要 说 风靡 的 原因 ， 当 然 不 排除 部 分 用 户 的 虚荣 心 ， 但 是 归根 结 底 还 是 苹果 公司 用 自己 的 产品 品质 征服 了 广大 用 户 。 苹 果 的 制作 工艺 要 求 之 高 ， 几 平 达 到 了 苟 刻 的 程度 ， 其 软 硬 件 互 相配 合 ， 实 现 了 硬件 
性 能 最 优化 。 对 质量 的 高 要 求 使 得 在 Android 系 统 上 饱 受 诉 病 的 散热 和 电量 两 大 问题 都 没有 在 iPhone 上 出 现 。 当 然 ， 让 iPhone 成 为 众人 吹捧 的 最 根本 原因 还 在 于 其 搭载 的 ijOS 操 作 系统 。 首 先 ，iOS 是 一 个 
相对 非常 封闭 的 系统 ， 避 免 了 黑客 利用 源 代码 的 漏洞 钼 空子 ， 这 就 大 大 提升 了 系统 的 安全 性 。 其 次 ，iPhone 严 格 的 内 存 管理 机 制 使 其 在 长 时 间 运 行 后 依然 能 保持 流畅 的 体验 和 超 高 的 稳定 性 。 除 此 之 
外 ，iOs 平 台 的 App 上 架 前 都 要 经 过 苹果 公司 严 苛 的 审核 ， 这 就 从 根本 上 保障 了 App 的 质量 。 苹 果 的 产品 质量 、 苹 果 的 账号 体系 和 苹果 自 有 的 应 用 平台 共同 组 成 了 一 个 苹果 生态 圈 ， 又 进一步 巩固 和 扩大 了 其 
用 户 数量 。 


目前 ，iOs 已 成 为 移动 互联 网 主导 的 系统 之 一 ， 搭 载 iOs 的 硬件 设备 更 是 成 为 用 户 追 捧 的 对 象 ， 在 未 来 的 发 展 过 程 中 ， 移 动 互 联网 产品 将 融入 生活 的 每 一 个 角落 ， 不 仪 是 手机 产品 ， 很 多 可 穿戴 设备 也 都 
离 不 开 移动 互联 网 产品 ， 可 见 未 来 jiOs 系 统 的 市 场 之 大 也 是 非常 值得 期 待 的 。 只 有 提升 开发 和 测试 水 平 ， 保 证 产品 的 质量 ， 才 能 够 确保 搭 上 iOS 未 来 更 深入 发 展 的 这 超 列 车 。 


2.3 ”iOS 平 台 的 特殊 性 


iOs 平 台 作 为 一 种 独立 的 操作 系统 平台 ， 有 很 多 其 他 平台 所 没有 的 特性 。 


2.3.1 证 书 


我 们 在 找 工作 时 ， 需 要 向 用 人 单位 出 示 学 校 颁 发 的 毕业 证 书 ， 同 理 ， 要 想 我 们 开发 的 应 用 能 够 在 iOS 设 备 上 安装 启动 ， 就 需要 向 iOS 设 备 提供 由 苹果 公司 颁发 的 证 书 ， 证 明 我 们 的 应 用 是 经 过 苹果 公司 官 
方 认 证 的 。iOS 设 备 在 启动 App 前 ， 会 先 验证 证 书 是 否 合法 ， 这 个 过 程 被 固化 在 了 iOS 系 统 中 ， 除 非 手 机 越狱 ， 否 则 都 要 经 历 这 个 过 程 。 


要 想 开发 1S 应用， 首先 要 成 为 苹果 公司 认证 的 开发 者 (虽然 Xcode 7 之 后 可 以 用 个 人 非 付 费 Apple ID 进 行 真 机 调试 ， 但 是 不 适合 团队 开发 和 正式 提交 AppStore 发 布 ， 因 此 非 付 费 Apple ID 没有 算 作 开 
发 者 账号 来 进行 介绍 ) 。 开 发 者 账号 有 四 种 不 同 的 类 型 ， 分 别 是 个 人 账号 、 公 司 账 号 、 企 业 账 号 和 教育 账号 。 其 中 个 人 账号 和 公司 账号 为 99 美 元 /年 ， 企 业 账 号 是 299 美 元 /年 ， 教 育 账号 是 0 美元 /年 。 我 们 
在 开发 和 测试 iOS 应 用 的 时 候 ， 不 能 一 直 在 模拟 器 上 进行 ， 总 是 要 在 真 机 上 进行 调试 和 验证 ， 通 过 非 AppStore 渠 道 安装 的 应 用 ， 如 果 想 要 安装 到 设备 上 ， 就 要 将 这 些 应 用 导出 为 iOS 可 识别 的 ipa 格 式 安装 
包 ， 在 导出 安装 包 时 ， 最 重要 的 一 个 因素 就 是 包 所 使 用 的 证 书 ， 即 包 的 签名 方式 。 刚 刚 提 到 的 两 种 不 同 金 额 的 开发 者 账号 可 以 申请 的 证 书 类 型 也 是 不 同 的。 苹果 的 证 书 体系 非常 烦琐 复杂 ， 这 里 不 再 袭 述 ， 
先 简单 列举 一 个 表 2-1 说 明 一 下 与 发 布 有 关 的 证 书 。 


表 2-1 证 书 类 型 


设备 UDID 添加 到 证 书 才 可 以 安 


SEIS: 过 AppStore 安装 | y 任何 iOS 设备 均 可 以 安装 
安装 范围 过 AppStore £X | ye ZERGE 100 & 任何 iOS REFI VALE 


开发 者 类 型 “| 个 人 \ 公 司 \ 教 育 账号 个 人 \ 公 司 \ 企 业 \ 教 育 账号 企业 账号 


下 面 详 细 介 绍 这 三 个 在 iOS 项 目 中 经 常见 到 的 证 书 类 型 。 


AppStore 方 式 : 可 以 提交 AppStore 发 布 的 最 终极 版 本 ， 但 是 只 能 通过 AppStore 下 载 安装 。 三 种 开发 者 账号 均 可 以 申请 该 签名 方式 。 


Adhoc 方 式 : 人 允许 设备 不 通过 Appstore 下 载 而 直接 安装 ， 然 而 ， 对 于 Adhorc 方 式 发 布 的 App 或 者 在 真 机 调试 时 ， 苹 果 公司 会 由 一 个 文件 来 限制 可 安装 的 设备 列表 ， 里 面 是 ijOs 设 备 的 UDID (设备 标 
iR) ， 每 个 设备 只 有 一 个 独一无二 的 UDID， 只 有 在 文件 中 添加 了 UDID 的 设备 ， 才 人 允许 安装 Adhoc 的 包 ， 每 个 开发 者 账号 在 缴费 周期 内 只 允许 100 台 设备 添加 到 文件 中 ， 也 就 是 最 多 只 有 100 台 设备 可 以 安装 
Adhoc 签 名 的 包 。 同 样 ， 三 种 开发 者 账号 均 可 以 申请 该 签名 方式 。 


In House 方 式 : 又 称 企业 签名 方式 ， 可 以 不 通过 AppStore 下 载 ， 也 不 限制 安装 的 设备 数 。 这 种 签名 方式 只 有 企业 账号 可 以 申请 。 虽 然 不 限制 安装 的 设备 数 ， 但 是 苹果 公司 严禁 企业 签名 的 包 流 入 用 户 
手中 ， 只 人 允许 公司 内 部 小 范围 内 安装 体验 ,一 旦 发 现 有 违规 ， 就 会 做 永久 下 架 处 理 。 所 以 iOS 平 台 没有 可 供 大 量 用 户 提 前 体验 的 灰 度 渠道 。 


本 节 只 简单 介绍 苹果 公司 的 账号 和 证 书 体系 ， 以 及 对 App 开 发 和 测试 带 来 的 影响 ， 对 于 其 中 涉及 的 具体 实现 细节 和 一 些 加 密 算法 没有 做 重点 说 明 ， 网 上 相关 的 资料 很 多 ， 感 兴趣 的 读者 可 以 自行 查阅 。 
2.3.2 ”越狱 

前 面 介绍 的 是 开发 或 者 安装 App 所 必须 有 的 证 书 。 但 是 ， 如 果 iPhone 手 机 本 身 越 钛 了 ， 那 么 就 不 存在 任何 证 书 问题 。 每 一 个 iPhone 或 者 iPad 用 户 ， 应 该 都 听 过 越狱 这 个 词 。 越 狱 就 是 获取 iOS 设 备 的 
Root 权限 ， 打 破 手机 原版 系统 的 限制 ， 用 户 可 以 自由 安装 各 种 插件 、 访 问 和 获取 系统 文件 ， 从 而 更 便捷 地 控制 手机 。 


iOS 系 统 与 Android 系 统 最 大 的 区 别 就 是 对 用 户 权限 的 限制 。Android 系 统 是 完全 开放 用 户 权限 的 ， 用 户 可 以 访问 甚至 修改 系统 文件 ， 可 以 从 各 种 渠道 下 载 应 用 ; 而 iOS 系 统 则 要 封闭 许多 ， 用 户 的 权限 
非常 低 ， 无 法 访问 系统 文件 ， 应 用 只 能 从 苹果 认证 的 AppStore 中 下 载 。iOS 系 统 的 封闭 性 会 让 刚 使 用 iPhone 和 iPad 的 用 户 很 不 习惯 ,因此 会 有 很 多 用 户 选 择 越狱 。 


越狱 有 什么 优点 ?越狱 后 可 以 获得 更 高 的 系统 权限 ， 可 以 自己 修改 和 管理 系统 文件 ， 可 以 安装 需要 高 系统 权限 的 应 用 ， 例 如 浏览 器 插件 、 蓝 牙 传输 文件 等 功能 ;越狱 后 既 可 以 安装 AppStore 提 供 的 免费 
应 用 ， 也 可 以 免费 安装 破解 版 的 收费 的 应 用 ; 越狱 后 可 以 随意 更 换 主 题 、 图 标 等 ， 让 手机 更 有 个 性 。 


越狱 的 这 些 优点 同样 可 以 为 测试 所 用 。 如 测试 性 能 用 到 的 远程 连接 工具 openssh、 用 于 录 屏 的 display recorder， 以 及 启动 App 和 抓 取 数 据 包 等 操作 要 用 到 的 命令 行 工具 等 ， 都 只 有 在 越狱 设备 上 才 可 以 
安装 。 


Qum 越狱 也 同样 存在 不 容 忽视 的 缺陷 : 越狱 后 会 导致 系统 不 稳定 。 开 放 了 系统 权限 ， 同 样 意味 着 系统 暴露 在 无 保护 的 状态 下 。 你 可 能 会 修改 它 ， 软 件 也 可 能 车 改 它 ， 寻 致 系统 崩溃 ; 越狱 有 一 定 
的 失败 率 ， 且 有 一 定 概率 会 对 硬件 造成 损伤 ， 而 且 一 旦 越狱 ， 将 无 法 享受 保修 服务 ; 设备 越狱 后 ， 一 旦 升级 新 系统 ， 以 前 的 越狱 就 会 失效 ， 需 要 重新 越狱 。 


2.3.3 KE 


产品 在 正式 发 布 之 前 ， 都 会 发 布 一 个 Beta 灰 度 版 本 ， 也 就 是 对 所 有 用 户 公 开 的 测试 版 本 ， 又 称 公测 。 因 为 开发 者 和 测试 人 员 的 时 间 和 精力 有 限 ， 总 是 没有 办 法 涵盖 所 有 用 户 所 处 的 网 络 条 件 和 用 户 操作 
场景 ， 所 以 会 提前 放出 一 个 经 过 测试 的 、 功 能 完整 、 性 能 相对 稳定 的 灰 度 版 本 ， 让 用 户 帮忙 验证 是 否 在 不 同 的 场景 下 还 会 遇 到 问题 。 我 们 总 是 希望 有 大 规模 不 同 使 用 习惯 的 灰 度 用 户 能 够 使 用 我 们 的 Beta 版 
本 ， 以 提供 更 多 的 反馈 ， 帮 助 我们 发 现 未 知 的 缺陷 ， 不 断 优 化 和 提升 产品 质量 。 可 以 说 ， 灰 度 版 本 是 软件 生命 周期 的 必 经 阶段 。 然 而 ， 由 于 苹果 公司 规定 ，iOs 平 台 软件 的 正式 版 本 必须 通过 苹果 官方 应 用 商 
店 AppStore 才 能 发 布 ， 而 用 于 内 部 开发 和 调试 的 版 本 也 受到 签名 和 设备 的 限制 ， 不 能 随意 推送 给 用 户 。 于 是 iOS 应 用 的 灰 度 渠道 只 能 寄 希 望 于 越狱 用 户 ， 通 常 采 用 91 助 手 越狱 版 向 越狱 用 户 进行 推送 。 


随 着 时 间 的 推移 ， 人 们 已 经 适应 了 iOs 简 洁 、 友 好 的 交互 界面 ， 而 且 免 费 的 iOs 应 用 越 来 越 多 ， 加 上 越狱 可 能 带 来 的 系统 稳定 性 下 降 和 硬件 损伤 等 风险 ， 因 此 ， 选 择 将 设备 越狱 的 苹果 用 户 越 来 越 少 ， 灰 
度 渠道 的 用 户 也 越 来 越 少 。 在 iOS 8 上 ， 苹 果 提 供 了 一 种 新 的 灰 度 渠道 ， 将 TestFlight 整 合 进 了 iTunes Connect， 开 发 人 员 可 以 通过 电子 邮件 邀请 用 户 通过 TestFlight 下 载 应 用 一 起 来 参与 测试 。 这 个 渠道 看 
起 来 没什么 问题 ， 实 际 上 最 大 的 问题 就 是 TestFlight 的 活路 用户 太 少 。 要 用 TestFlight 来 发 布 灰 度 版 本 ， 有 以 下 几 个 条 件 。 


(1) 开发 者 自己 收集 总 数 不 超过 2000 个 的 邮箱 账号 提交 TestFlight。 

(2) 提交 的 App 版 本 要 审核 三 天 (这 已 经 比 AppStore 审 核 快 了 N 倍 ) 。 

(3) 用 户 需要 下 载 TestFlight 客 户 端 到 手机 ， 登 录 自 己 的 Apple ID 并 填写 邮件 里 的 邀请 码 。 
(4) 一 个 邀请 码 只 能 在 一 个 Apple 1D 使 用 。 


(5) 第 二 次 发 布 体验 版 的 时 候 ， 用 户 需要 手工 去 TestFlight 里 点 击 更 新 。 


实际 上 我 们 遇 到 的 问题 还 有 以 下 几 方 面 。 
(1) 通过 各 种 论坛 收集 的 用 户 邮箱 账号 提交 后 ， 有 三 分 之 一 的 用 户 收 不 到 邀请 码 。 
(2) 剩 下 三 分 之 二 的 用 户 里 又 有 二 分 之 一 的 用 户 不 会 去 下 载 灰 度 体 验 版 本 。 
(3) 仅 剩 的 下 载 了 体验 版 本 的 用 户 使 用 不 活跃 ， 也 没有 什么 反馈 提交 。 
(4) 反馈 的 信息 不 足 ， 联 系 用 户 困难 ， 基 本 联系 不 上 ， 复 现 问题 的 概率 很 低 。 


最 后 我 们 采用 了 企鹅 众 测 (tesly.qq.com) 作为 灰 度 发 布 的 主要 渠道 ， 企 殷 众 测 又 称 Tesly， 主 要 是 通过 建立 iOS 测 试 军团 的 方式 将 测试 任务 发 布 给 普通 用 户 ， 用 户 获 取 任 务 后 进行 测试 并 提交 反馈 获取 
积分 奖励 。 通 过 这 种 方式 可 以 有 效 调 起 TestFlight 上 灰 度 版 本 的 下 载 和 体验 率 ， 获 取 项 目 组 需要 的 质量 信息 。 

然而 ， 尽 管 有 了 这 些 途 径 ， 相 比 Android 平 台 一 款 应 用 动 辆 几 万 甚至 几 十 万 的 灰 度 用 户 量 ，iOS 应 用 的 灰 度 用 户 杯水车薪 ， 甚 至 没有 灰 度 ， 这 就 给 测试 人 员 带 来 了 更 大 的 挑战 。 产 品 没有 经 过 批量 用 户 的 
检验 就 要 直接 接受 苹果 的 审核 ， 审 核 通过 后 才能 正式 上 架 推 送 给 正式 用 户 。 用 户 对 正式 版 本 的 忍耐 度 普遍 没有 对 公测 版 本 的 高 ， 一 旦 集中 爆发 某 个 问题 ， 可 能 就 会 给 用 户 带 来 质量 极 差 的 感知 ， 导 致 用 户 大 


量 流失 。 
2.3.4 AppSstore 审 核 

Appstore 是 苹果 公司 提供 给 开发 者 发 布 和 用 户 下 载 的 应 用 平台 。 如 前 文 提 到 ， 为 了 给 发 布 者 营造 一 个 公正 、 良 性 的 发 布 环境 ， 给 用 户 提供 安全 、 可 靠 的 应 用 ， 苹 果 公司 制定 了 一 套 严 格 的 审核 规范 ， 每 
个 提交 AppStore 的 应 用 都 会 经 过 苹果 公司 在 技术 、 内 容 和 设计 规范 等 一 系列 多 重 规范 的 审核 。 详 情 见 苹果 AppStore 审 查 官方 指南 : https://developer.Apple.com/APP-store/review/guidelines/。 


苹果 审核 ， 是 iOS 应 用 从 业者 又 一 个 不 得 不 说 的 痛 ， 绝 大 多 数 公司 都 有 过 产品 被 拒 的 经 历 ， 可 以 说 是 一 言 不 合 就 会 被 苹果 以 各 种 理由 拒绝 。 苹 果 审 核 时 间 一 般 需 要 一 周 左右 ,一 旦 被 拒 ， 修 复 后 表 提 交 ， 
前 后 两 次 就 要 耗费 两 周 ， 如 果 多 次 被 拒 ， 就 很 可 能 成 为 苹果 的 重点 审查 对 象 ， 审核 周 期 无 法 保证 ， 这 无 疑 严 重 影响 了 产品 的 正常 发 布 进度 。 每 位 iOS 平 台 相 关 的 从 业者 都 应 该 系统 理解 苹果 审核 的 规则 ， 尽 量 
规避 这 些 情 况 的 发 生 ， 保 证 产品 的 正常 发 布 周期 。 


作为 一 名 测试 人 员 ， 既 要 尽 可 能 挖掘 产品 隐藏 的 缺陷 ， 保 证 产品 的 质量 ， 还 要 根据 Appstore 审 核 规范 协助 项 目 组 对 App 进 行 提交 前 的 验收 ， 减 少 不 必 要 的 错误 ， 降 低 审 核 被 拒 的 风险 ， 为 App 顺 利 上 线 
把 好 最 后 一 道 天 。 


根据 苹果 Appstore 审 查 官方 指南 ， 同 时 结合 之 前 曾经 出 现 过 的 审核 被 拒 的 案例 ， 我 们 建立 了 一 套 上 线 前 的 checklist， 每 次 版 本 提交 Appstore 之 前 ， 项 目 组 的 不 同 角色 分 工 合 作 ， 对 提交 材料 进行 验 
收 ， 验 收 合格 后 正式 提交 苹果 审核 。 


验收 对 象 按照 模块 可 以 划分 为 三 部 分 : 应 用 的 ipa 包 、 应 用 说 明 资 源 、 应 用 内 容 和 功能 。 


D 
A 
D» 
# 
3 
如 
x 
E 
dl 
E 

ij 


应 用 的 ipa 包 验收 主要 是 对 info.plist 中 的 配置 文件 、 私 有 API、 第 三 方 SDK 库 、 文 件 大 小 、 是 否 有 Crash 上 报 ， 以 及 64 位 和 32 位 等 内 容 是 
应 用 说 明 资 源 验收 主要 是 对 应 用 的 介绍 和 用 以 辅助 说 明 的 图 片 、 视 频 等 进行 检查 ， 确 保 内 容 真实 ， 规 格 属性 符合 苹果 要 求 。 
应 用 内 容 和 功能 是 苹果 审核 最 为 严格 的 部 分 ， 通 常 苹果 公司 的 审核 人 员 会 安装 应 用 体验 功能 ， 稍 有 问题 就 可 能 会 被 拒绝 ， 这 也 是 在 经 过 进 代 、 集 成 和 回归 测试 后 ， 在 上 线 前 仍 要 走 查 功 能 的 原因 。 


除 此 之 外 ， 由 于 苹果 公司 的 审核 团队 是 在 美国 ， 因 此 在 上 线 前 验收 还 要 关注 是 否 兼 容 IPv6 网 络 ， 美 国 VPN 网 络 下 是 否 能 正常 连接 等 ， 避 免 在 这 些 场景 下 出 现 问 题 而 被 拒 。 


2.3.5 ”自动 化 测试 工具 


iOs 平 台 还 有 一 个 特性 是 自动 化 测试 工具 比较 少 。 说 起 Android 的 UI 自 动 化 工具 ， 人 们 总 可 以 说 出 很 多 现成 的 自动 化 框架 来 ， 如 UIAutomator、Cabalash、Appium、Robtium 等 。 虽 然 各 个 框架 都 有 
自己 的 优 缺 点 ， 有 不 同 的 适用 场景 ， 但 是 现 有 的 框架 基本 可 以 满足 自动 化 测试 的 需求 。 即 使 有 特殊 的 要 求 ， 因 为 Android 系 统 是 开源 的 ， 完 全 开放 用 户 权 限 ， 测 试 人 员 也 可 以 根据 实际 需要 进行 二 次 封装 开 
发 就 可 以 轻易 实现 。 


在 iOSs 平 台 上 就 没有 这 么 方便 了 ， 虽 然 iOSs 平 台 的 自动 化 工具 有 UITest、XCTest、KIF、Cabalsh、Appium 等 ， 但 是 距离 运用 到 每 日 迭代 持续 集成 还 有 很 长 的 距离 。 


(1) 框架 稳定 性 不 高 。 当 用 例 数目 比较 少 、 运 行 时 间 较 短 时 ， 现 有 的 自动 化 框架 基本 没有 问题 ， 但 是 随 着 用 例 数 的 增多 ， 框 架 可 能 要 连续 运行 多 个 小 时 ， 这 时 大 部 分 框架 就 会 暴露 出 稳定 性 不 高 的 问 
题 ， 频 繁 出 现 内 退 ， 只 能 重新 启动 项 目 ， 增 加 了 人 为 干预 的 时 间 。 目 前 只 有 XCTest 在 这 方面 比较 有 优势 ， 这 会 在 第 5 章 进 行 详细 讲解 。 


(2) 无 法 获取 底层 接口 。 由 于 iOs 系 统 的 封闭 性 ， 导 致 无 法 获取 系统 root 权 限 和 系统 状态 等 ， 这 就 无 法 对 文件 进行 操作 ， 也 没 办 法 根据 系统 辅助 判断 运行 结果 ， 给 自动 化 的 运行 带 来 了 难处 。 


(3) 无 自动 分 析 运 行 结果 的 日 志 系统 。 脚 本 运行 不 是 目的 ， 最 重要 的 是 要 看 到 运行 结果 ， 对 有 异常 情况 能 够 快速 定位 问题 。 框 架 自 身 的 日 志 系统 需要 人 工 去 逐一 排查 用 例 运行 结果 ， 不 能 满足 用 户 结合 自 
动 化 脚本 分 步骤 展示 日 志 的 需求 ， 这 就 延长 了 自动 化 运行 后 确认 结果 的 时 间 ， 增 加 了 新 人 的 学 习 成 本 。 这 个 问题 通过 对 框架 的 二 次 开发 和 封装 解决 ， 会 在 第 6 章 介绍 。 


24 人 小结 


iOs 平 台独 特 的 系统 特性 直接 影响 着 测试 的 方式 和 内 容 ， 因 此 ， 了 解 1Os 基 础 知识 十 分 必要 。 本 章 主要 介绍 了 iOs 的 平台 基础 知识 ， 为 后 续 章 节 讲述 iOs 特 色 测 试 铺垫 背景 知识 。 任 何 想 了 解 jOs 平 台 的 读 
者 都 要 深刻 铭记 本 章 的 内 容 。 


第 3 章 iOS 兼容 性 测试 


苹果 公司 每 年 都 有 两 个 引 人 注 意 的 大 动作 : 一 是 发 布 新 系统 ， 二 是 发 布 新 机 型 。 无 论 是 发 布 新 系统 还 是 发 布 新 机 型 ， 都 会 让 iPhone 平台 上 的 研发 团队 忙于 兼容 适 配 的 工作 。 作 为 iPhone 平台 上 的 测试 人 
， 对 苹果 公司 每 年 放 的 大 招 都 要 有 招架 之 术 。 


"n 


很 多 不 了 解 情况 的 人 会 认为 苹果 公司 的 机 型 比较 少 、 系 统 发 布 也 不 频繁 ， 应 该 不 会 有 太 多 涉及 适 配 的 问题 ， 而 实际 情况 并 非 如 此 。 每 发 布 一 个 系统 和 机 型 ， 都 会 伴随 大 量 的 技术 实现 或 者 硬件 变革 ， 用 
户 在 感受 机 型 与 系统 更 新 带 来 全 新 体验 的 同时 ， 背 后 需要 开发 人 员 做 适 配 、 测 试 人 员 做 测试 。 


要 做 iPhone 适 配 测试 ， 首 先 要 与 其 他 手机 相 比 iPhone 有 什么 特殊 之 处 。 从 操作 系统 上 看 ， 对 比 移动 平台 上 开放 的 Android 系 统 ，iOs 系 统 的 封闭 性 增加 了 其 神秘 感 ; 从 机 型 上 看 ，iPhone 是 同一 个 厂商 


发 行 的 手机 ， 总 体 看 前 后 的 兼容 性 都 不 错 ， 不 过 随 着 迭代 的 升级 ， 无 论 从 屏幕 尺寸 、 屏 幕 分 辨 率 、 处 理 器 、 特 性 支持 上 ， 会 有 许多 容易 引发 问题 的 差异 。 


接 下 来 我 们 结合 过 往 兼 容 性 的 测试 实践 经 验 对 iPhone 上 的 App 兼 容 性 问题 进行 总 结 


第 3 章 ” iOS 兼容 性 测试 
3.1 引言 
苹果 公司 每 年 都 有 两 个 引 人 注 意 的 大 动作 : 一 是 发 布 新 系统 ， 二 是 发 布 新 机 型 。 无 论 是 发 布 新 系统 还 是 发 布 新 机 型 ， 都 会 让 iPhone 平 台 上 的 研发 团队 忙于 兼容 适 配 的 工作 。 作 为 iPhone 平 台 上 的 测试 人 
而 实际 情况 并 非 如 此 。 每 发 布 一 个 系统 和 机 型 ， 都 会 伴随 大 量 的 技术 实现 或 者 硬件 变革 ， 用 


对 苹果 公司 每 年 放 的 大 招 都 要 有 招架 之 术 。 
系统 发 布 也 不 频繁 ， 应 该 不 会 有 太 多 涉及 适 配 的 问题 


yz 


很 多 不 了 解 情况 的 人 会 认为 苹果 公司 的 机 型 比较 少 
户 在 感受 机 型 与 系统 更 新 带 来 全 新 体验 的 同时 ， 背 后 需要 开发 人 员 做 适 配 、 测 试 人 员 做 测试 。 
要 做 iPhone 适 配 测试 ， 首 先 要 与 其 他 手机 相 比 iPhone 有 什么 特殊 之 处 。 从 操作 系统 上 看 ， 对 比 移动 平台 上 开放 的 Android 系 统 ，iOs 系 统 的 封闭 性 增加 了 其 神秘 感 ; 从 机 型 上 看 ，iPhone 是 同一 个 厂商 
处 理 器 、 特 性 支持 上 ， 会 有 许多 容易 引发 问题 的 差异 。 


Ine 


发 行 的 手机 ， 辟 体 看 前 后 的 兼容 性 都 不 错 ， 不 过 随 着 迭代 的 升级 ， 无 论 从 屏幕 太 斗 、 屏 幕 分 辩 率 


接 下 来 我 们 结合 过 往 兼 容 性 的 测试 实践 经 验 对 iPhone 上 的 App 兼 容 性 问题 进行 


3.2 “系统 兼容 
iPhone 上 的 操作 系统 被 称 为 IOS， 每 次 发 布 新 版 本 ， 想 体验 新 特性 的 用 户 就 需要 将 自己 的 手机 进行 固件 刷新 ， 或 者 购买 已 经 配置 最 新 系统 的 iPhone。 操 作 系 统 的 差异 是 手机 “ 软 实力 ”的 差异 。 新 系统 


发 布 给 我 们 带 来 了 新 功能 和 接口 实现 的 变化 。 


3.2.1 新 增 功能 

的 spotlight 新 特性 ，iOS 10 的 iMessage 功 能 更 新 和 Push 消 息 多 样 化 等 。iOS 平 台 上 的 开发 者 会 根据 这 些 新 特性 再 结合 自己 的 产品 进行 一 些 功能 关联 。 
能 ， 共 给 

这 方面 的 Bug 集 中 在 数据 传输 中 。 曾 发 生 过 书签 数据 传输 错误 导致 的 闪 退 问题 。iOS 10 系 统 到 目前 为 止 还 没有 发 现 新 增 


什么 是 系统 的 新 功能 ?发 布 每 个 大 系统 ， 除 了 界面 更 新 外 ， 必 然 伴随 着 一 些 全 新 的 功能 ， 升 级 了 新 系统 后 这 些 功能 可 以 直观 地 被 用 户 体验 到 。 例 如 iOS 8 带 来 的 widget， 支 持 第 三 方 输入 法 ，iOS 9 带 来 
MEA. 2b 
新 增 功能 的 测试 只 要 在 对 应 的 系统 和 机 型 上 进行 针对 性 的 验证 即 可 ， 曾 经 出 现 缺陷 的 案例 如 下 : iOS 8 系统 widget 的 功能 ， 主 要 在 于 App 自 身 提供 给 widget 一 些 信息 ， 例 如 天 气 、 资 讯 新 闻 。 测 试 过 程 


中 发 生 一 些 显 示 排 版 的 问题 。iOS 9 系统 引入 spotlight 新 功能 可 以 搜索 应 用 内 的 信息 


功能 引发 的 问题 。 

322 ”接口 差异 

系统 发 布 的 同时 ， 还 有 与 新 增 功能 对 应 的 一 些 用 户 看 不 见 的 变化 。 一 般 来 说 ， 是 对 开发 者 而 言 的 变化 ， 大 多 体现 为 系统 接口 的 变化 ， 以 及 一 些 和 过 往 不 同 的 AP1 出 现 ， 这 里 称 为 系统 的 接口 差异 。 
题 ， 主 要 是 SDK 底 层 的 API 实 现 会 做 一 些 调整 ， 需 
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新 系统 发 布 后 ，iOS 产 品 的 开发 工具 Xcode 也 会 进行 更 新 ， 提 供 新 的 SDK 供 开发 者 进行 编译 。 而 使 用 新 SDK 编 译 的 版 本 在 旧 系 统 上 也 可 能 会 存在 各 式 问 题 


要 开发 者 阅读 新 系统 说 明 ，| 上 日 有 代码 对 新 系统 的 API 实 现 要 进行 适 配 ， 以 免 出 现 各 式 问 题 
因为 系统 一 般 是 一 年 发 布 一 个 大 的 版 本 ， 按 照 一 年 中 不 同 的 时 间 了 阶段， 大 约会 有 如 图 3-1 所 示 的 三 个 测试 阶段 。 
司 用 新 的 SDK 


HARA 


发 布 新 系统 


"EI JT Xs AC 发 布 新 的 大 版 本 新 系统 正式 发 
AB. IEAI 系统 beta 版 ， 需 要 Ma, KWES 
旧版 本 系统 做 适 配 测 试 的 SDK 编 译 产 品 


1. 日 常 兼容 
一 款 App 在 编码 阶段 就 要 考虑 不 同系 统 的 差异 性 ， 在 修改 代码 的 阶段 要 格外 关注 系统 的 高 低 版 本 之 间 API 调 用 时 实现 的 差异 。 


表 3-1 是 QQ 浏览 器 (iPhone) 在 非 新 系统 发 布 时 期 的 普通 适 配 测试 发 现 的 问题 
表 3-1 典型 适 配 测试 问题 


d 
ql 


问题 描述 问题 系统 原 


. TA 重 构图 数 时 ， 关 于 cell 的 设置 有 问题 ，iOS 6 版 本 需 
10S 6 系统 上 浏览 做 的 设置 功 JL mu j 人 已 cp 。 Y / 52 Wi 
Bug 1 | 能 的 各 个 开关 无 法 改 恋 状态 iOS 6 RRE cell 属性 才能 正确 啊 应 ,而 iOS 7 ERYR ESR 
id 
-— 当 有 手势 滑动 操作 时 ， 不 同 的 系统 啊 应 不 同 : 10S 7 
iOS 8 系统 上 浏览 硕 的 起 始 页 * d 
l! Az > [Hrs] JY ANI 1 系统 会 
Bug 2 导航 滑动 会 出 现 卡 住 的 现象 iOS 8 | 以 下 的 系统 优先 外 层 啊 应 ， 里 层 不 啊 应 ; iOS 8 系 


询问 哪 一 层 啊 应 手势 操作 


从 表 3-1 中 可 以 看 出 ， 两 个 Bug 都 是 某 个 系统 下 的 浏览 器 不 响应 用 户 手 指 操作 。 点 击 开 关 ， 不 响应 开关 命令 ;滑动 屏幕 ， 不 响应 滚动 命令 


。 其 本 质 是 因为 开发 在 重 构 或 者 实现 函数 功能 时 ， 忽 略 了 高 低 版 
本 系统 上 的 系统 API 调 用 的 差异 性 。 
这 种 情况 一 般 发 生 在 函数 重 构 阶 段 ， 重 构 的 开发 在 不 了 解 系统 差异 性 的 情况 下 ， 容 易 出 现 这 样 的 问题 。 作 为 测试 人 员 ， 对 每 次 重 构 类 型 的 测试 ， 尽 量 做 到 系统 履 善 。 如 果 条 件 允 许 ， 最 好 与 开发 一 起 过 
一 下 高 低 版 本 系统 API 实 现 是 否 有 差异 性 。 


2. 发 布 新 系统 


在 每 年 的 新 系统 发 布 前 ， 苹 果 公 司 会 陆续 发 布 Beta 版 本 供 开发 者 适 配 。 这 时 测试 也 要 跟 进 ， 对 App 在 新 系统 上 运行 的 情况 进行 检查 确认 。 时 机 一 般 是 在 开发 完成 一 轮 适 配 测试 后 开始 启用 。 原 则 上 是 所 
有 的 功能 都 要 在 新 系统 上 运行 一 次 检查 。 在 启动 测试 工作 之 前 ， 测 试 人 员 最 好 也 要 了 解 新 系统 的 特性 及 其 变化 。 


下 面 还 是 以 QQ 浏览 器 (iPhone) 为 例 ， 如 表 3-2 所 示 。 


表 3-2 ”Bug 列表 
序号 [2] i fi 34 问题 系统 原因 
T iOS 9 Beta 3 版 本 自身 的 Bug， 系 统 自 身 某 一 函数 : 
M^ Ma wn OS 9 (void)APPlication:(UIAPPlication *)APPlication willChan 
i e | geStatusBarFrame:(CGRect)newStatusBarFrame;) 未 调用 ， 
d 不 能 显示 状态 栏 
QQ 功能 ， 总 是 提 iOS 9 版 本 需 将 在 外 部 调用 的 URL scheme 列 为 日 名 单 
登录 失败 ， 无 法 收藏 网 页 才 可 以 完成 跳 转 


Bug 1 如 图 3-2 所 示 ， 其 中 左边 的 图 是 手机 通知 栏 中 浏览 器 下 发 的 消息 ， 点 击 这 条 消息 后 进入 右边 的 图 ， 可 以 发 现 上 方 本 应 该 显示 手机 的 网 络 信号 、 电 量 、 时 间 信 息 的 状态 栏 不 显示 了 。 


18:33 


Q 搜索 或 输入 网 十 


^ pn cd TAG | 
EU | 


by c gi 
P O3 mus EWENAZOx PS 


QQ 浏览 器 2 前 
"大仙 "次 蜗 两 嫂 妹 总 次 献身 ， 称 与 其 发 后 关 
EXE LUE CUL b ESAE 


TAFE MH) ME AGESPASCARIE S 


(3 ER 百度 X 搜狐 
BT xu Nt 
zm E) BER 
xt 点 记 DAR 


图 3-2 ”通知 栏 Bug 图 
这 是 iOS 9 正式 发 布 前 的 Beta 3 版 本 自身 的 问题 ， 我 们 可 以 对 这 个 问题 进行 兼容 ， 在 iOS 9 正式 版 本 发 布 后 这 个 问题 也 不 复 存 在 。 


Bug 2 的 现象 如 图 3-3 所 示 ， 其 中 左 图 中 的 下 方 工具 栏 有 一 个 “收藏 到 QQ”， 点 击 后 会 提示 登录 QQ (已 经 登录 过 QQ) ， 现 象 如 右边 的 图 所 示 。 


EI s & vox. 


收藏 失败 ， 
请 先 登录 QQ。 


QQ 收藏 藏 我 所 爱 
QQ 电脑 版 、QQ 手 机 版 都 可 以 查看 哦 ~ 


D o o O 


Bn @ 


il 网 页 内 查找 保存 离线 网 页 


收藏 到 OO 网 页 护 眼色 


取消 


图 3-3 ”收藏 到 QQ 功能 Bug 


这 是 iOS 9 基于 安全 性 考虑 ， 不 允许 扫描 用 户 手 机 里 App 的 安装 情况 ， 必 须 在 URL scheme 里 指定 调 起 的 App (URL scheme 一 般 使 用 的 场景 是 应 用 程序 有 分 享 或 跳 转 其 他 平台 授权 的 功能 ， 分 享 或 授权 
后 再 跳 转 回 来 ) 。 


在 iOS 8 中 并 没有 做 过 多 限制 ， 但 是 iOS 9 需要 将 在 外 部 调用 的 URL scheme 列 为 白 名 单 ， 才 可 以 完成 跳 转 。 如 果 iOS 9 没 做 适 配 ， 则 会 报错 。 具 体 的 解决 方案 是 要 在 info.plist 中 设置 
LSAPPlicationQueriesSchemes 类 型 为 数组 ， 下 面 添加 所 有 用 到 的 scheme， 如 图 3-4 所 示 。 


Item 36 
Item 37 


Item 38 
Item 39 


图 3-4 ”工程 配置 


上 述 两 个 Bug， 主 要 是 在 新 版 本 适 配 前 的 Beta 版 本 的 测试 过 程 中 发 现 的 。 这 个 阶段 ， 测 试 要 随 开 发 一 起 学 习 新 系统 的 特性 ， 多 多 阅读 相关 文档 ， 联 系 产品 各 项 功能 检查 。 新 系统 上 的 Ul 显示 问题 ， 大 部 
分 也 是 由 于 旧版 SDK 上 的 编译 导致 的 ， 例 如 iOS 9 上 的 字体 变化 了 ， 但 是 旧 的 SDK 还 是 按照 之 前 的 方式 进行 编译 ， 就 会 出 现 省 略 号 的 问题 。 


3. 启 用 新 SDK 


在 新 系统 发 布 后 一 段 时 间 ， 开 发 人 员 会 采用 高 版 本 的 SDK 编 译 ， 比 较 显 式 的 是 用 高 版 本 的 Xcode 来 编译 版 本 。 这 里 有 个 问题 ， 就 是 如 果 使 用 高 版 本 独 有 的 API1， 编 译 器 是 不 会 标识 出 来 的 ， 而 低 版 本 系统 
并 没有 这 种 AP1， 因 此 运行 在 低 版 本 上 就 会 出 现 问题 。 


QQ 浏览 器 (iPhone) 项 目 曾经 出 现 过 3D Touch 重 压 菜单 点 击 后 不 能 跳 转 到 App 内 对 应 的 内 容 上 。 原 因 就 是 新 版 本 SDK 引 入 的 适 配 问 题 。 
浏览 器 创建 Quick Action. (用 力 按压 App 图 标 出 现 的 标签 ) 采用 的 是 静态 方式 ， 静 态 创建 方式 是 在 info.plist 文 件 中 声明 的 ， 其 中 有 两 个 键 值 是 必须 设置 的 。 


- UIAPPlicationShortcutItemTitle: 表示 这 个 键 值 设置 标签 的 标题 。 


: UIAPPlicationShortcutItemType: 表示 设置 一 个 快捷 通道 类 型 的 字符 串 ， 这 个 字符 串 唯一 地 标识 出 这 个 通道 类 型 。 


点 击 3D Touch 中 的 快捷 选项 ， 会 先 启动 浏览 器 ， 然 后 根据 回 传 的 type 人 参数 即 标识 通道 类 型 的 字符 串 来 确认 需要 跳 转 的 模块 页 面 。 在 更 新 jiOS 10 系 统 的 SDK 后 ， 系 统 会 在 Quick Action 里 自动 添加 
widget 入 口 ， 同 时 系统 在 回调 type 人 参数 时 会 在 原 字符 串 前 面 自 动 添加 一 个 字符 串 “com.tencent.mttliteextension” ， 即 浏览 器 的 Bundle ID, ， 如 图 3-5 所 示 。 而 在 回调 函数 中 ， 我 们 还 用 原 字符 
FB "search" "new page" “history” 去 匹配 ， 全 部 匹配 失败 ， 所 以 启动 浏览 器 后 不 再 做 任何 处 理 ， 就 不 会 跳 转 到 相应 页 面 了 。 


shortcutitem = (UlApplicationShortcutitem *) 0x170e687c0 

P NSObject 

b typezí NMsScCFString *) &"com.tencent.mttliteextension.search" 
b localizedTitle 2( NSCFString *) 名 "快速 搜索 " 


 localizedSubtitle = ( NSCFConstantString *) @"" 

b icon = (UlApplicationShartcutlcon *) Ox17001f18a0 
.activationModae = (unsigned long lang) O 

P userinfoaData = (id) OxO 


图 3-5 ”参数 形式 截图 


上 述 三 个 阶段 产生 的 适 配 问 题 主要 是 因为 新 系统 淘汰 或 更 新 了 一 些 APl， 如 果 开 发 人 员 在 这 些 地 方 不 注意 ， 就 会 出 现 上 述 问题 。 这 里 测试 人 员 可 以 做 的 工作 是 与 开发 人 员 一 起 学 习 每 个 系统 的 特性 一 一 
关联 产品 特性 。 例 如 ，iOS 9 上 关于 URL scheme 的 规定 涉及 外 部 App 调 用 ， 那 么 测试 人 员 可 以 排查 所 有 涉及 外 部 App 调 用 的 功能 ,避免 开发 人 员 遗 漏 。 本 章 中 的 案例 就 是 开发 人 员 忽 略 了 工具 箱 中 收藏 的 
QQ 功能 也 涉及 外 部 App 调 用 (QQ 账号 调用 ) 。 


不 同系 统 接口 差异 引发 的 API 适 配 是 适 配 测试 重点 关注 的 问题 ， 无 论 是 API 更 新 、 淘 汰 ， 都 会 导致 适 配 问题 ， 关 注 API 变 更 是 测试 人 员 和 开发 人 员 都 要 做 的 。 测 试 人 员 对 缺陷 要 知 其 然 ， 更 要 知 其 所 以 
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机 型 的 问题 跟 硬 件 有 关 ， 比 如 随 着 一 代 代 的 iPhone 发 布 ， 屏 幕 越 来 越 大 ， 分 辨 率 越 来 越 高 ， 处 理 器 指令 集 从 ARMv6、ARMV7、ARMYVv7s 到 ARMv64， 从 指纹 识别 到 3D Touch 的 手机 新 特性 应 用 。 
3.8.1]. 新 增 功能 

系统 更 新 会 带 来 新 功能 ， 机 型 的 升级 也 会 带 来 新 功能 ， 例 如 从 iPhone 5S 开 始 有 了 指纹 识别 ， 从 iPhone 6s 开 始 有 了 3D Touch 等 。 如 果 机 型 上 的 新 功能 不 涉及 被 测 产 品 (例如 手机 照相 机 的 更 新 ) ， 就 
可 以 忽略 ; 如 果 涉 及 ， 就 要 进行 适 配 。 

Qm 两 点 测试 保证 : 一 是 保证 有 该 特性 的 机 型 能 够 正常 使 用 ; 三 是 保证 低 端 机 型 不 会 误 触发 这 个 逻辑 。 

过 往 的 缺陷 中 ， 机 型 上 新 增 功能 有 关系 的 案例 也 不 少 。 举 例 来 说 ，iPhone 6s (Plus) 开始 引入 3D Touch 特 性 ， 在 iPhone 6s (Plus) 上 验证 该 功能 ， 就 曾 发 生 过 重 按 不 显示 菜单 栏 的 问题 。 对 这 种 与 
机 型 强 相 关 的 测试 ， 最 好 能 单独 列 出 一 个 list 来 记录 ， 避 免 在 研发 过 程 中 几 个 版 本 和 迭 代 后 对 机 型 差异 敏感 度 下 降 后 误 触 发 一 些 问 题 。 


3.32 ”屏幕 变化 
iPhone 自发 布 以 来 ， 屏 幕 尺 寸 和 分 辨 率 越 来 越 大 。 表 3-3 是 不 同 机 型 的 屏幕 尺寸 和 设备 分 辨 率 ， 测 试 时 需要 关注 不 同 设备 的 资源 配置 是 否 有 遗漏 或 者 错 配 。 


表 3-3 iPhone 屏幕 尺寸 与 分 辩 率 列表 


发 布 机 型 BER ROT 设备 分 辨 率 


Phone 4 540x960 


(5E) 


发 布 机 型 屏幕 尺寸 设备 分 辩 率 
iPhone 5/Sv/S 640x1136 
iPhone 6/6s/7 4.7-inch 标准 模式 : 750X 1334 
放大 模式 : 640 X1136 
iPhone 6 Plus/6s Plus/7 Plus 5.3-inch 标准 模式 . 12422208 
放大 模式 : 1125X2001 


对 于 屏幕 尺寸 大 小 的 不 同 ， 出 现 的 兼容 性 问题 也 多 。 经 常 出 现 的 问题 是 网 页 显示 或 弹 框 显 示 。 例 如 ， 做 一 个 手机 QQ 新 闻 打 开 的 红包 新 弹 框 ,在 iPhone 4 上 就 出 现 右上 角 的 关闭 按钮 被 完全 遮挡 ， 下 面 
也 被 遮挡 了 很 大 一 部 分 。 图 3-6 就 属于 屏幕 差异 引起 的 兼容 问题 。 
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3.3.3 ”处 理 器 差异 


到 目前 为 止 ， 所 有 iOSs 设 备 都 使 用 ARM 结 构 处 理 器 ， 它 与 台式 机 上 的 x86 和 PowerPC 有 些 不 同 。ARM64 是 ARM 处 理 器 的 一 个 指令 集 ， 目 前 iPhone 设备 的 指令 集 种 类 如 表 3-4 所 示 。 


表 3-4 iPhone 设备 的 指令 集 


ARM 处 理 器 指令 iz 8 
ARMv6 iPhone, iPhone 2, iPhone 3G 
ARMv7 iPhone 3GS, iPhone 4, iPhone 4S 
ARMv7s iPhone 5, iPhone 5C 
ARMv64 iPhone 5S, iPhone 6 (Plus), iPhone 6s (Plus), iPhone 7 (Plus) 


从 Xcode 4.5 开 始 不 再 支持 ARMYv6 指 令 集 。 实 际 上 ， 用 户 使 用 的 基本 上 都 是 iPhone 4 以 后 的 机 型 了 ， 所 以 我 们 编译 生成 的 二 进 制 包 所 支持 的 指令 集 只 要 支持 ARMv7 以 上 就 可 以 。 苹 果 公 司 规定 ， 从 
2015 年 2 月 开始 上 架 App Store 的 应 用 必须 支持 ARM64 的 编译 ， 所 以 产品 都 应 完成 对 ARM64 的 适 配 。 


设备 对 指令 集 的 支持 可 向 前 兼容 ， 只 是 会 影响 运行 效率 。 因 此 现在 编译 的 版 本 一 个 包 有 两 个 架构 ， 分 别 支 持 ARMYV7 指 令 集 和 ARMYVv64 指 令 集 的 架构 。 选 择 ARMYV7 是 为 了 支持 iPhone 4~iPhone 5C 之 间 
的 设备 ， 而 编译 ARMYv64 的 二 进 制 包 一 方面 是 因为 苹果 公司 的 规定 ， 另 外 一 方面 是 为 了 让 高 级 机 型 能 够 更 好 地 运行 ， 提 高 运行 效率 


适 配 工作 的 重点 在 于 对 参数 类 型 的 调整 ， 适 配 最 新 版 的 如 目前 的 ARMv64 的 指令 集 。Bug 大 多 集中 于 参数 类 型 在 ARMv64 设 备 上 出 现 的 异常 。 


Qum 模拟 器 并 不 运行 ARM 人 代码， 软件 会 被 编译 成 x86 可 以 运行 的 指令 ， 因 此 适 配 不 能 在 模拟 器 上 进行 验证 。 


回顾 历史 版 本 ， 在 硬件 的 兼容 上 ，iPhone 一 般 都 做 得 很 好 。 印 象 最 深 的 还 是 32 位 机 升 为 64 位 机 后 做 的 适 配 测试 ， 当 时 要 求 1OS 的 32 位 工程 转 为 64 位 工程 。 我 们 来 看 一 下 深层 次 的 原理 。 


“32 位 的 OS 系统 和 64 位 的 OS 系统 的 差别 主要 有 两 个 : 一 个 是 数据 类 型 的 差别 ， 一 个 是 过 程 调用 方法 的 差别 。 在 数据 类 型 上 ， 主 要 的 变化 是 指针 类 型 (Pointer) 和 长 整数 类 型 (Long) 的 长 度 变 化 和 内 
存 对 齐 方式 的 变化 ， 同 时 也 时 致 了 更 高 级 别 数据 类 型 的 变化 ， 如 NSInteget 的 长 度 也 有 变化 。 在 过 程 调用 方法 上 ， 因 为 ARMv8 和 ARMv7 具 有 不 同 数 量 的 寄存 器 与 不 同 的 过 程 调用 约定 ， 所 以 32 位 系统 和 64 位 系 
统 在 汇编 层级 是 不 同 的 。” 


实际 测试 中 遇 到 过 新 版 64 位 安装 包 在 各 功能 模块 上 发 生 闪 退 、 显 示 混 乱 、 数 据 错 误 、 性 能 差 等 问题 。 额 外 强调 的 一 点 是 ， 要 关注 的 问题 为 数据 的 传输 ， 因 为 用 户 会 通过 网 络 交换 数据 ， 用 户 保存 的 数据 
也 可 能 通过 备份 等 方式 在 32 位 系统 和 64 位 系统 之 间 切 换 ， 所 以 应 用 在 保存 和 发 送 流 数 据 的 时 候 一 定 要 考虑 充分 ， 例 如 32 位 机 保存 的 书签 在 64 位 机 上 是 否 能 够 正确 显示 和 使 用 。 


3.4 测试 原则 


一 般 来 说 ， 进 入 测试 窗口 期 的 系统 不 会 超过 四 个 大 系统 ， 即 最 新 的 四 个 系统 ， 例 如 当前 是 iOS 10 系 统 最 新 ， 那 么 就 覆盖 ijOS 10、iOS 9、iOs 8, iOS 7。 当 然 ， 这 跟 被 测 App 可 安装 的 系统 有 关 ， 当 前 
QQ 浏览 器 (iPhone) 还 支持 iOS 7， 未 来 当 发 现 jOS 7 的 用 户 量 比较 少时 就 会 考虑 放弃 支持 这 个 系统 ， 那 么 对 应 的 iPhone 4 就 会 退出 测试 的 覆盖 范围 。 截 至 本 稿 撰写 时 ， 处 于 iOS 10 不 断 发 小 版 本 的 阶段 ， 
每 个 系统 下 的 机 型 分 布 如 表 3-5 所 示 。 


表 3-5 系统 机 型 分 布 表 


系 R 机 om 
iOS10 iPhone 7 (Plus), iPhone 6s (Plus), iPhone 6 (Plus), iPhone 5 
iOS 9 iPhone 6s (Plus), iPhone 6 (Plus), iPhone 5, iPhone 4s 
iOS 8 iPhone 6 (Plus), iPhone 5, iPhone 4s 
10S 7 iPhone 4s, iPhone 4 
iOS 6 iPhone 4s, iPhone 4 


由 于 实际 测试 人 力 受 限 ， 不 能 每 个 机 型 的 系统 都 进行 覆盖 ， 因 此 主要 策略 如 下 。 
- 以 操作 系统 覆盖 齐全 为 主 ， 最 高 系统 保持 最 新 和 次 新 ， 机 型 尽量 照顾 高 低 两 端 机 型 。 


迭代 测试 ( 增 量 测试 ) 阶段 ， 对 于 新 增 功 能 一 般 采 用 四 个 系统 都 覆盖 ， 机 型 选择 尽量 不 重复 。 如 果 人 力 够 ， 还 需要 格外 留心 低 端 机 型 的 高 端 系统 ， 如 iPhone 5 上 搭载 :IOS 10 的 系统 ， 或 者 iPhone 4 上 搭 
载 1iDOS 7。 另 外 ， 对 版 本 最 高 的 系统 尽量 履 盖 两 个 以 上 的 子 系统 ， 例 如 当前 是 iDS 10.2 版 本 最 新 、iOS 10.1 次 新 ， 这 两 个 系统 都 应 尽量 徐 盖 到 。 


* 在 集成 测试 阶段 ， 由 于 需要 执行 大 量 的 FT 用 例 ， 所 以 一 般 每 个 模块 的 测试 都 无 法 保证 全 系统 的 覆盖 ， 只 有 入 口 级 别 的 用 例 才 在 所 有 系统 上 运行 。 表 3-6 所 示 的 是 QQ 浏览 器 (iPhone) 版 在 集成 测试 阶 
段 需 要 全 系统 和 覆盖 的 用 例 。 


表 3-6 集成 测试 全 系统 覆盖 用 例 


J 能 A 备 d 
重点 考 凤 局 动 逻 辑 是 否 通畅 ， 页 面 显 示 是 否 正 常 ， 包 括 横 屏 、 皮 肤 、 放 大 模式 等 因 系 下 的 
菜单 栏 、 通 知 栏 显示 


第 三 方 调用 打开 


与 音乐 兼容 QQ 音乐 、 酷 狗 、 酷 我 等 播放 需 在 后 台 播 放 音 乐 时 ， 打 开 浏 览 硕 后 音乐 照 帝 播放 
通知 栏 push 点 击 push HAN Vias ( 包 插 冷 启 动 和 热 启 动 ) 页 面 显 示 是 否 异 和 常 ， 包 括 通知 栏 SERRE 


正确 显示 天 气 和 热 词 ， 点 击 后 局 动 浏览 一 ( 冷 司 动 和 热 局 动 ) 页 面 显 示 正 常 (fx iOS 8、 


WEA iOS 9 fl iOS 10 系统 ) 
-F Hr Aa 首次 安装 ， 主 页 卡片 能 否 正常 加 载 ， 是 否 能 添加 删除 和 置顶 卡片 
快 链 登录 和 未 登录 状态 下 深 加 删 除 移动 快 链 ， 登 录 后 数据 同步 
小 说 加 载 书 染 、 书 城 页 面 显 未 ; WA AERE; 升级 后 缕 存 、 书 染 小 说 丰 合 依然 可 网 ， 合 
录 后 书 染 书籍 是 否 同步 ; 小 说 购买 支付 流程 是 否 顺 畅 
个 人 中 心 能 正常 登录 、 切 换 账 号 ; 能 查看 积分 并 进行 兑换 
视频 视屏 能 够 正常 播放 、 下 载 ， 考 虑 旋 屏 、 放 大 模式 
(5) 
J 能 点 备 注 
特 丈 操作 长 按 链接 ， 选 择 新 窗口 打开 ， 观 察 页 面 显 示 是 否 正 党 
书签 书签 的 添加 、 删 除 、 移 动 和 修改 ,以 及 登录 账号 后 的 书签 同步 
搜索 搜索 再 达 相 关 ， 搜 索 框 的 参 力 测试 
二 维 码 扫描 正常 弹出 扫描 框 ， 扫 描 二 维 码 后 正常 跳 转 


Qua 这 里 需要 特别 说 明 的 是 配置 类 ， 例 如 下 发 闪 屏 图 片 类 ， 要 充分 考虑 屏幕 分 辨 率 的 问题 ， 尤 其 是 iPhone 7 Plus. iPhone 6 Plus 和 iPhone 6s Plus 都 有 放大 模式 。 


综 上 所 述 ， 各 阶段 的 兼容 性 测试 原则 如 图 3- 7 所 示 。 


Dim Dlm tim TU ITL s 


Cm pL 


低 闪 系统 高 端 系 Ij m As t 


[omg LAM 请 机 型 irm LAM ( 系统、 平台 ) 


特别 关注 单独 关注 


资源 显示 测试 新 特性 测试 


迭代 测试 


图 3-7 ”问题 模型 


图 3-7 的 模型 是 iPhone 日 常 测试 常见 的 机 型 系统 覆盖 分 布 ， 也 是 对 无 法 进行 全 量 系统 机 型 覆盖 的 一 种 相对 妥协 的 策略 ， 构 建 这 个 模型 也 是 尽量 履 盖 到 易 发 问题 机 型 系统 ， 不 同 的 App 对 应 的 问题 模型 也 
有 所 差异 ， 图 3-7 所 示 的 问题 模型 是 结合 QQ 浏览 器 (iPhone) 版 本 和 实际 测试 人 力 来 建设 的 ， 仅 供 参 考 。 


35 JW 


比较 高 的 ， 短 时 间 内 就 会 大 量 升级 到 最 新 版 本 。 而 机 型 的 更 新 速度 比较 慢 ，iPhone 
低 端 机 型 用 户 。 


各 


本 章 主要 就 IO 平台 上 的 兼容 性 问题 进行 了 介绍 。 苹 果 公 司 每 次 发 布 新 系统 ， 相 比 Android 平 台 来 阅 ，iOs 的 渗透 率 
手机 一 般 从 iPhone 4 到 iPhone 7 的 用 户 量 分 布 比较 均衡 。 因 此 兼容 性 测试 覆盖 最 重要 的 用 户 群 体 就 是 最 新 系统 ， 其 次 就 


各 


就 最 近 几 年 的 情况 看 ， 每 次 测试 都 至 少 是 四 个 机 型 (四 个 不 同 的 系统 ) 同时 进行 ， 如 果 条 件 允 许 ， 最 新 的 系统 最 好 能 覆盖 两 个 子 系统 ， 即 五 个 手机 同时 测试 最 佳 。 至 于 哪些 测试 需要 每 条 用 例 都 全 系统 
和 机 型 测试 ， 哪 些 需要 分 散 开 测 试 ， 可 参见 第 3.4 节 的 内 容 。 


第 4 草 “iOS 性 能 测试 


一 款 软件 能 被 用 户 接受 ， 最 根本 的 原因 是 这 款 软件 满足 了 用 户 的 一 些 需求 ， 能 为 用 户 解 决 某 一 方面 的 问题 。 就 聊天 软件 来 说， 如 果 使 用 某 款 软件 能 让 用 户 快 速 地 找到 附近 想 聊天 的 异性 ， 而 用 户 此 时 恰 
好 有 这 样 的 需求 ， 那 么 用 户 才 会 认为 这 是 他 此 时 想 要 用 的 软件 。 用 户 不 会 去 使 用 一 个 “响应 速度 很 快 ” 但 不 能 帮 他 “做 什么 ”的 软件 ， 这 一 点 毋庸 置疑 ， 用 户 总 会 去 挑选 一 款 既 能 满足 基本 需求 、 又 能 
足 “ 速 度 快 ， 占 用 资源 少 ”的 软件 。 这 里 所 说 的 “速度 快 ， 占 用 资源 少 ”就 是 指 的 软件 的 性 能 。 


性 能 在 软件 质量 中 占 的 比重 有 多 大 ， 在 用 户 眼中 看 得 有 多 重 ， 这 是 我 们 需要 先 了 解 的 问题 。 我 们 先 以 浏览 器 为 例 来 进行 介绍 。 图 4-1 是 2015 年 底 我 们 从 7000 份 针对 用 户 选择 浏览 器 的 原因 调查 统计 图 。 
从 图 中 可 以 看 到 ， 影 响 用 户 选 择 浏 览 器 的 十 大 因素 中 ， 网 页 速度 快 、 节 省 流量 、 占 空间 少 、 性 能 稳定 等 直接 与 性 能 相关 的 描述 占 了 四 条 ， 其 他 描述 中 或 多 或 少 也 有 和 性 能 相关 的 部 分 。 由 此 可 见 ， 性 能 对 于 
一 款 软件 质量 来 说 是 多 么 举足轻重 。 


随 着 软件 技术 的 日 益 提高 ， 用 户 的 要 求 越 来 越 高 ， 怎 么 设计 一 款 高 性 能 的 软件 成 为 所 有 程序 员 必 须 面 对 的 一 个 问题 。 那 么 有 没有 一 些 科学 的 指标 来 衡量 软件 的 性 能 呢 ? 答案 是 肯定 的 。 


影响 用 户 选 择 浏览 副 的 十 大 因 系 


网 页 兼容 性 21.30% 
J ES 27.30% 


性 能 稳定 29.50% 
占 空间 少 30.80% 


界面 显示 好 31.60% 
用 户 评价 高 33.30% 

省 流量 36.5096 

FHL A H 39.20% 
网 页 速度 快 42.40% 

操作 便捷 62.60% 


图 4-1 影响 用 户 选择 浏览 器 的 十 大 因素 


第 4 章 iOS 性 能 测试 


一 款 软件 能 被 用 户 接受 ， 最 根本 的 原因 是 这 款 软件 满足 了 用 户 的 一 些 需求 ， 能 为 用 户 解 决 某 一 方面 的 问题 。 就 聊天 软件 来 说， 如 果 使 用 某 款 软件 能 让 用 户 快 速 地 找到 附近 想 聊天 的 异性 ， 而 用 户 此 时 恰 
好 有 这 样 的 需求 ， 那 么 用 户 才 会 认为 这 是 他 此 时 想 要 用 的 软件 。 用 户 不 会 去 使 用 一 个 “响应 速度 很 快 ” 但 不 能 帮 他 “做 什么 ”的 软件 ， 这 一 点 毋庸 置疑 ， 用 户 总 会 去 挑选 一 款 既 能 满足 基本 需求 、 又 能 满 
足 “ 速 度 快 ， 占 用 资源 少 ”的 软件 。 这 里 所 说 的 “速度 快 ， 占 用 资源 少 ”就 是 指 的 软件 的 性 能 。 

性 能 在 软件 质量 中 占 的 比重 有 多 大 ， 在 用 户 眼中 看 得 有 多 重 ， 这 是 我 们 需要 先 了 解 的 问题 。 我 们 先 以 浏览 器 为 例 来 进行 介绍 。 图 4-1 是 2015 年 底 我 们 从 7000 份 针对 用 户 选择 浏览 器 的 原因 调查 统计 图 。 
从 图 中 可 以 看 到 ， 影 响 用 户 选 择 浏览 器 的 十 大 因素 中 ， 网 页 速度 快 、 节 省 流量 、 占 空间 少 、 性 能 稳定 等 直接 与 性 能 相关 的 描述 占 了 四 条 ， 其 他 描述 中 或 多 或 少 也 有 和 性 能 相关 的 部 分 。 由 此 可 见 ， 性 能 对 于 
一 款 软件 质量 来 说 是 多 么 举足轻重 。 


随 着 软件 技术 的 日 益 提高 ， 用 户 的 要 求 越 来 越 高 ， 怎 么 设计 一 款 高 性 能 的 软件 成 为 所 有 程序 员 必须 面 对 的 一 个 问题 。 那 么 有 没有 一 些 科 学 的 指标 来 衡量 软件 的 性 能 呢 ” 答案 是 肯定 的 。 


影响 用 户 选 择 浏览 副 的 十 大 因 系 


网 页 兼容 性 21.30% 
功能 丰 宦 27.30% 
性 能 稳定 29.50% 
占 空间 少 30.80% 


界面 显示 好 31.60% 

用 户 评 价 高 33.30% 
省 流量 36.5096 
手机 自 带 39.20% 

网 页 速度 快 42.40% 
操作 便捷 


图 4-1 影响 用 户 选择 浏览 器 的 十 大 因素 


4.2 ”性 能 测试 简介 


首先 ,我 们 简单 了 解 一 下 性 能 测试 。 什 么 是 性 能 测试 ? 举 一 个 简单 的 例子 : 一 条 马路 每 天 都 会 有 车 辆 不 停 地 经 过 ， 我 们 都 觉得 再 正常 不 过 ， 但 是 某 时 这 条 路 堵车 了 ， 所 有 经 过 的 人 都 会 很 抓 狂 ， 这 时 就 
认为 这 条 路 的 “性 能 ”出 了 问题 。 为 什么 堵车 ”是 车 太 多 了 还 是 前 面 发 生 了 事故 ”这 个 性 能 问题 并 没有 改变 路 应 有 的 作用 ， 车 辆 还 是 可 以 经 过 ， 但 是 给 人 的 感觉 就 大 打折 扣 甚 至 无 法 接受 。 性 能 测试 ， 就 是 
为 了 能 在 软件 发 布 之 前 尽 可 能 地 发现 性 能 问题 ， 保 证 它 在 各 种 复杂 的 条 件 下 都 能 够 正常 运行 。 当 然 ， 这 是 理想 情况 ， 事 实 上 ， 人 性 能 测试 不 可 能 覆盖 每 一 个 功能 部 分 ， 也 就 是 说 ， 某 些 有 性 能 问题 的 模块 也 有 
可 能 被 忽略 ， 这 是 无 法 避免 的 。 通 党 我们 选择 性 能 测试 都 会 遵循 “核心 ”和 “常用 ”两 条 原则 。 比 如 对 于 聊天 软件 ， 登 录 、 收 发 消息 是 其 最 核心 的 部 分 ， 这 必然 要 对 性 能 作出 评估 ， 而 其 他 功能 如 设置 面 
板 、 个 人 信息 编辑 等 就 可 以 不 做 性 能 测试 ， 或 者 性 能 测试 的 优先 级 较 低 。 


软件 的 性 能 需求 来 自 于 用 户 ， 而 优化 软件 性 能 最 终 的 目的 也 是 服务 于 用 户 。 所 以 性 能 指标 都 与 用 户 需求 是 有 对 应 关系 的 。 简 单 来 说 ， 我 们 所 做 的 一 切 性 能 测试 ， 都 是 为 了 发 现 用 户 在 使 用 中 可 能 会 出 现 
的 性 能 问题 ， 以 便 在 产品 上 线 前 避免 这 些 问 题 。 我 们 的 出 发 点 是 用 户 体验 和 用 户 需求 。 如 果 我 们 设 定 了 很 多 性 能 指标 ， 但 测试 、 优 化 之 后 ， 对 于 最 终 的 用 户 体验 没有 什么 提升 ， 那 这 些 性 能 测试 也 没有 什么 


意义 。 


举 一 个 简单 的 例子 ， 每 年 除 多 的 微 信 抢 红包 都 是 对 微 信 服务 器 性 能 的 一 大 挑战 。 技 术 人 员 必 须 对 此 做 出 应 对 性 的 部 署 。 其 中 如 果 仅 对 服务 器 的 数量 、 吞 吐 量 、 并 发 量 等 做 测试 ， 仍 然 不 能 说 明 这 些 服务 
器 的 最 终 使 用 效果 怎么 样 ， 还 要 模拟 大 量 的 终端 真实 用 户 向 服务 器 并 发 发 送 巨 量 请 求 ， 并 反复 验证 其 稳定 性 才能 较 好 地 证 明 最 终 上 线 时 的 真实 情况 。 


再 举 一 个 以 最 常用 的 浏览 器 为 例 。 打 开 网 页 速度 是 浏览 器 最 重要 的 一 个 指标 ， 但 是 影响 速度 的 因素 特别 多 ， 如 本 地 泻 染 速 度 、 网 络 因素 、 站 点 服务 器 的 速度 、 网 络 请 求 封装 的 速度 、 发 送 请 求 到 收 到 应 
答 的 速度 、 网 站 点 的 主 资 源 和 各 种 子 资 源 等 。 每 个 环节 都 要 充分 考虑 ， 如 果 针 对 各 模块 的 优化 都 做 了 ， 那 是 不 是 速度 就 会 有 明显 的 提升 呢 ? 不 一 定 ， 用 户 最 常 访问 的 站 点 是 哪些 ,访问 慢 的 站 点 是 哪些 ， 这 
才 是 我 们 去 优化 的 出 发 点 。 对 于 站 点 打开 速度 来 说 ， 每 个 站 点 有 其 共性 也 有 其 特殊 性 ， 根 据 最 终 的 使 用 情况 去 分 析 具 体 原因 ， 才 能 很 好 地 贴近 最 终 使 用 场景 ， 从 而 提供 更 快 的 浏览 体验 。 


4.2.1 性 能 测试 介入 时 间 


传统 的 软件 开发 流程 大 致 如 图 4-2 所 示 。 


迭代 测试 


性 能 测试 
和 回归 测试 


图 4-2 ”传统 的 软件 开发 流程 


从 图 4-2 中 可 以 看 到 ， 性 能 测试 往往 放 在 整个 软件 开发 流程 的 最 后 一 环 。 这 是 有 其 充分 理由 的 : 执行 性 能 测试 的 一 个 必要 条 件 是 软件 已 经 处 于 相对 稳定 的 状态 ， 任 何 一 个 细微 的 变化 都 可 能 对 性 能 产生 巨 
大 的 影响 ， 放 在 软件 开发 的 初期 ， 会 导致 性 能 测试 不 断 返 工 重 测 ， 浪 费 不 必要 的 人 力 和 时 间 。 


但 是 ， 很 多 软件 不 仅 会 在 软件 开发 的 后 期 做 性 能 评估 ， 还 会 将 这 个 动作 提前 ， 比 如 每 一 个 迭代 都 会 对 基本 性 能 做 评估 ， 一 旦 发 现 问题 ， 就 会 及 时 做 出 优化 响应 ， 以 避免 到 软件 开发 后 期 出 现 问题 时 难以 
定位 原因 的 尴 詹 。 所 以 成 熟 的 团队 经 常 把 性 能 测试 提前 到 产品 研发 的 初期 ， 流 程 大 致 如 图 4-3 所 示 。 


迭代 测试 


和 人 性 能 测试 


性 能 测试 
和 回归 测试 


图 4-3 成熟 团队 的 软件 开发 流程 
4.2.2 iOS 性 能 测试 分 类 
软件 的 性 能 涉及 软件 的 每 个 功能 模块 ， 非 常 复 杂 。 性 能 测试 应 该 从 哪 入 手 ? 具体 要 做 哪些 性 能 测试 呢 ? 
我 们 将 终端 软件 的 性 能 测试 概括 为 以 下 三 个 方向 : 响应 的 及 时 性 、 运 行 的 稳定 性 和 资源 的 占用 率 。 
1. 响 应 的 及 时 性 


响应 的 及 时 性 是 指 软 件 对 用 户 操作 指令 做 出 响应 的 速度 。 简 单 来 说 ， 就 是 软件 运行 得 快 不 快 ， 所 有 人 都 希望 点 一 下 就 能 马上 看 到 对 应 的 结果 。 但 这 只 是 主观 上 的 一 个 感受 ， 具体 为 什么 快 为 什么 慢 ， 还 
需要 深入 分 析 。 


对 于 浏览 器 而 言 ， 可 以 把 用 户 感受 到 的 响应 时 间 划 分 为 “呈现 时 间 ” 和 “系统 响应 时 间 ”， 前 者 是 指 客户 端 在 接收 到 网 站 数据 时 呈现 页 面 所 需 的 时 间 ， 后 者 是 指 客户 端 接 收 到 用 户 请 求 到 客户 端 接收 到 
服务 器 发 来 的 数据 所 需 的 时 间 。 系 统 响应 时 间 又 可 细 分 为 客户 端 收 到 请 求 到 服务 器 收 到 客户 端 请 求 、 服 务 器 处 理 时 间 、 服 务 器 向 客户 端 回 传 数据 的 时 间 。 


软件 运行 的 稳定 性 是 指 软件 功能 的 稳定 运行 以 及 软件 整体 的 稳定 。 功 能 的 稳定 指 的 是 不 管 我 什么 时 候 使 用 ， 怎 么 使 用 ， 用 多 少 次 ， 这 个 功能 都 可 以 正常 地 运行 。 时 而 可 用 时 而 不 可 用 ， 不 管 出 于 什么 原 
因 ， 都 是 不 可 原谅 的 ， 用 户 极 有 可 能 转向 使 用 其 他 可 蔡 代 的 软件 。 而 软件 整体 的 稳定 指 的 是 软件 运行 过 程 中 会 不 会 出 现 内 退 。 这 也 是 对 用 户 感知 有 强烈 冲击 的 一 个 问题 ， 使 用 过 程 中 突然 退出 ， 上 一 次 的 所 
有 操作 还 要 再 重新 执行 一 次 ， 这 是 很 令 人 恼怒 的 事情 ， 如 果 闪 退 的 次 数 较 多 ， 那 这 个 软件 功能 再 好 ， 都 很 难 有 吸引 力 。 


3. 资 源 的 占用 率 


资源 的 占用 率 是 每 款 软件 都 必须 面 对 的 一 个 问题 。 安 装 时 占 了 多 少 硬盘 空间 、 使 用 时 占 了 多 少 内 存 等 都 是 需要 考虑 的 。 在 移动 端 ， 有 两 个 问题 是 绕 不 过 的 : 一 个 是 耗 电量 ， 一 个 是 流量 ， 这 些 都 会 让 用 
户 感到 不 安 。 对 用 户 来 说 ， 流 量 就 是 钱 ， 如 果 在 用 户 不 知情 的 情况 下 跑 了 很 多 流量 ， 那 将 是 很 严重 的 问题 ， 结 果 往 往 是 被 用 户 抛 奔 。 而 耗 电 量 决定 了 在 不 充电 的 情况 下 ， 一 个 移动 终端 能 使 用 多 长 时 间 。 之 
前 有 同行 做 过 调查 ， 在 没有 充电 设备 的 情况 下 ， 当 手机 电量 少 于 30% 时 ， 大 部 分 人 会 觉得 很 没有 安全 感 。 


基于 这 样 的 一 个 大 框架 ， 我 们 可 以 仔细 思考 适合 自己 产品 的 性 能 测试 指标 。 一 般 的 原则 是 ， 选 择 软件 核心 功能 ， 再 结合 产品 的 特点 来 定 。 对 于 浏览 器 来 说 ， 访 问 页 面 是 其 核心 功能 ， 那 么 访问 页 面 的 速 
度 和 稳定 性 是 其 重要 的 性 能 指标 。 对 于 购物 类 的 软件 来 说 ， 除 了 要 关注 浏览 商品 的 流畅 性 外 ， 还 要 关注 支付 相关 的 指标 。 


那么 对 于 iOS 平 台 来 说 ， 上 述 三 个 方向 是 否 仍然 适用 呢 ? 答案 是 肯定 的 。 我 们 在 iOS 平 台 上 进行 了 研究 和 探索 ， 其 中 所 有 的 性 能 指标 都 可 以 归 类 在 上 述 的 三 个 方向 中 。 
表 4-1 将 从 这 三 个 方向 去 前述 在 iOS 平 台 上 性 能 测试 的 尝试 ， 希 望 对 读者 有 帮助 。 


表 4-1 iOS 性 能 测试 分 类 


J [E] 具体 维度 
) 啊 应 速度 测试 
2 * 流畅 度 测试 
稳定 性 随机 测试 的 稳定 性 
1) 流量 测试 
资源 占用 2 ) 电量 测试 
3) 内 存 测试 


4.3 ”响应 速度 测试 方法 


响应 速度 是 软件 性 能 中 最 重要 的 一 环 。 想 想 点 击 软件 的 某 个 按键 需要 等 待 10 秒 钟 才 会 有 响应 ， 访 问 一 个 网 站 需要 等 待 2 分 钟 ， 因 此 响应 速度 对 于 任何 一 个 软件 都 非常 重要 。 
那么 如 何 对 响应 速度 做 出 评价 呢 ? 


对 于 用 户 来 说 ， 响 应 速度 就 是 完成 某 一 项 操作 到 预期 结果 显示 完成 所 需要 的 时 间 ， 这 上 段 时 间 越 短 越 好 。 上 既然 我 们 关注 的 是 这 样 一 个 数据 ， 那 么 很 显然 ， 我 们 只 要 能 够 获取 到 完成 操作 的 时 间 点 以 及 预期 
结果 显示 完成 的 时 间 点 ， 就 可 以 知道 这 一 项 操作 所 花费 的 时 间 。 


这 就 是 从 用 户 视角 看 到 的 响应 速度 ， 是 不 是 简单 明了 ? 现在 问题 来 了 ， 如 何 确认 这 两 个 时 间 点 呢 ? 下 面 介绍 几 种 常见 的 响应 速度 测试 方法 。 


4.3.1. 的 表 计 时 法 


我 们 先 从 最 简单 的 方法 说 起 。 你 能 想到 的 最 简单 的 方式 是 什么 ? 记得 以 前 上 体育 课时 老师 总 会 拿 一 个 秒表 计算 每 个 同学 跑 一 圈 操 场所 花 的 时 间 。 

拘 表 计时 ， 这 是 人 们 对 计时 最 直观 的 反应 ， 其 是 指 从 执行 某 一 个 动作 开始 计时 ， 到 预期 结果 展示 完成 结束 计时 ， 其 中 所 花费 的 时 间 。 

拘 表 计时 法 是 很 原始 的 测速 方法 。 这 对 需要 长 时 间 才 能 完成 的 动作 ， 或 许 没有 问题 ， 但 是 ， 软 件 的 操作 往往 只 有 短 短 几 秒 甚至 小 于 1 秒 ， 使 用 这 种 方式 就 会 有 很 大 的 误差 ， 直 接 导致 测试 结论 的 错误 。 
这 种 方式 不 行 ， 有 没有 更 精确 一 点 的 方法 呢 ? 

既然 操作 时 获取 时 间 不 可 行 ， 那 么 可 以 先 操 作 ， 然 后 记录 这 个 操作 过 程 ， 后 期 再 处 理 操作 过 程 所 留 下 的 痕迹 ， 这 样 或 许 能 让 结果 更 加 准确 。 


操作 过 程 中 可 以 用 日 志 或 图 像 来 记录 一 些 重要 的 信息 ， 通 过 这 些 日 志 或 对 图 像 的 分 析 ， 可 以 得 到 一 些 有 用 的 信息 
4.3.2 “日志 计时 法 
志 计时 法 ， 就 是 在 关键 节点 通过 接口 打印 出 有 用 的 日 志 ， 然 后 人 工 或 用 脚本 分 析 这 些 日 志 即 可 。 
假设 执行 某 项 操作 时 调用 的 第 一 个 接口 代码 如 下 : 


- (void) starUp{ 
// 核 心 代码 在 这 里 
} 


预期 结果 显示 完成 时 调用 的 接口 代码 如 下 : 


- (void)endUp( 
// 核 心 代码 在 这 里 
} 


那么 在 编码 阶段 ， 可 以 在 这 两 个 接口 中 分 别 打印 当前 时 间 : 


- (void) starUp{ 


startTime = [[NSDate Date] timelIntervalSincel970]; 

// 核 心 代码 在 这 里 

} 

- (void) endUp{ 

// 核 心 代码 在 这 里 

endTime = [[NSDate Date] timelIntervalSincel970]; 

NSLog (8"runningTime-$2f",endTime-startTime); 

这 样 在 执行 这 个 操作 时 ， 就 会 有 两 个 时 间 节 点 ， 这 两 个 时 间 节 点 能 够 精确 计算 这 个 操作 完成 的 时 间 。 日 志 计 时 法 的 优 缺 点 如 表 4-2 所 示 。 


表 4-2 ”日志 计时 法 的 优 缺点 


优 点 缺 m 
) 计时 准确 ; 1) 可 能 与 最 终 用 户 感知 到 的 结果 不 同 ; 
) 执行 测试 时 无 须 其 他 操作 ， 与 正 篆 使 用 软件 时 一 样 2) 执行 测试 前 需要 修改 源码 


这 样 ， 在 关键 节点 增加 时 间 点 后 ， 后 续 的 测试 会 变 得 很 方便 ， 只 要 像 用 户 一 样 正常 使 用 这 个 软件 就 行 。 但 是 修改 源码 这 个 缺陷 有 时 是 致命 的 。 首 先 ， 修 改 源码 的 成 本 相对 较 高 ， 然 后 ， 无 法 与 同类 产品 
做 对 比 。 特 别 注意 第 二 点 。 


4.3.3 ”录像 分 帧 计时 法 


想 想 有 哪些 方式 能 够 全 程 记 录 下 计算 机 屏幕 上 的 所 有 变化 ， 可 以 有 计算 机 自动 截屏 、 自 动 录 屏 、 另 一 款 工具 拍照 、 录 像 等 。 


不 管 使 用 哪 种 方式 ， 我 们 都 希望 能 够 确定 起 始点 位 并 计算 出 来 。 使 用 录像 的 方式 ， 预 期 结果 展示 完成 这 个 时 间 点 可 以 确定 ， 但 开始 的 时 间 点 不 一 定 能 确定 ， 比 如 点 击 某 个 按键 ， 它 可 能 在 点 击 后 一 小 段 
时 间 内 没有 任何 界面 上 的 变化 ， 这 样 就 没 办 法 确定 是 什么 时 候 完 成 操作 的 了 。 所 以 最 好 的 方式 就 是 在 界面 上 留 下 操作 的 痕迹 ， 比 如 点 击 时 在 点 击 位 置 绘制 一 个 白 点 ， 滑 动 时 绘制 滑动 的 轨迹 。 


这 种 方式 的 精确 度 部 分 可 控 ， 主 要 看 录 屏 的 帧 数 或 者 截屏 的 频率 。 但 这 也 是 有 极限 值 的 ， 而 且 录 屏 或 截屏 本 身 会 占用 系统 资源 ， 所 以 也 不 是 越 高 越 好 。 测 试 过 程 中 频率 范围 一 般 设置 为 20~ 50 帧 ， 这 样 
测试 结果 就 会 有 40~ 100 ms 的 误差 范围 ， 视 具体 情况 而 定 。 


视频 的 记录 方式 ， 如 果 想 获得 与 截屏 一 样 的 精确 度 ， 那 么 还 得 先 把 视频 分 巾 成 图 片 ， 不 然 也 比较 难 确定 精确 的 起 始 时 间 点 。 
各 种 图 像 分 帧 计时 法 的 优 缺 点 如 表 4-3 所 示 。 


表 4-3 ”各 种 图 像 分 帧 计时 法 的 优 缺点 
记录 方式 优 [i 缺 


1 ) 百 接 查看 图 片 即 可 百 接 计算 时 间 ; 
截屏 2) 不 需要 男 外 一 个 设备 ， 截 屏 开 始 和 结束 可 控 ; 


aiy 


1) JE ERRI, ARA EH ; 


3) 图 片 清晰 好 处 理 2) 需要 大 量 的 磁盘 空间 ， 在 移动 设备 上 不 可 行 
1 ) 系统 资源 占用 相对 截屏 小 很 多 ， 
2) 需要 的 磁盘 空间 小 ; —É— -— 
sK Bf aa , VEN A c^ BH S HI [I], AXTAR 
RP | 3 ) 不 需要 另外 个 设 和 名、 截屏 开始 和 结 豆 可 控 。| 7 CO MUI BEHE TUM HL, HDSURGS 
图 像 清晰 好 处 理 
mE JNA 1 ERA H zx yip s. 
ü 不 用 分 帧 直接 通过 图 片 能 计算 时 间 See LUN 


3) 需要 大 量 的 磁盘 空间 

1) 需要 另外 一 个 设备 ， 记 录 过 程 容易 出 错 ; 
2) 图 像 不 清晰 ; 

3 ) 需要 先 分 帧 才能 计算 时 间 ， 相 对 麻烦 


不 需要 占用 系统 资源 
2) 需要 的 磁盘 空间 较 小 《但 大 于 录 屏 的 ) 


录像 


通过 图 4-3 的 对 比 ， 我 们 得 到 以 下 几 个 结论 。 
(1) 在 系统 资源 和 磁盘 资源 都 非常 充足 的 情况 下 ， 截 屏 方式 是 不 错 的 选择 ; 
(2) 在 系统 资源 和 磁盘 资源 有 限 的 情况 下 ， 录 屏 方式 是 更 好 的 选择 ; 
(3) 连 拍 方式 基本 不 可 行 ; 
(4) 录像 方式 的 记录 过 程 昌 然 相对 烦琐 ， 但 系统 资源 比较 紧缺 或 想 保证 除 被 测 软件 以 外 的 其 他 软件 尽量 少 占 资源 的 情况 下 ， 录 像 是 一 种 选择 。 


下 面 讨论 有 了 这 些 记录 之 后 ， 怎 么 得 出 具体 的 结果 。 使 用 打 日 志 计时 的 方式 ， 可 以 直接 获得 速度 数据 ， 能 快速 得 出 结果 。 而 使 用 图 像 的 方式 则 是 一 个 烦琐 的 过 程 。 首 先 得 找到 起 始 的 两 张 图 片 ， 分 别 是 
开始 点 击 的 那 张 图 和 页 面 展示 完 的 那 张 图 ， 然 后 根据 这 两 张 图 片 计算 出 时 间 。 通 常 来 说 ， 在 众多 图 片 中 找到 某 一 张 图 片 是 挺 费 时 的 。 测 试 过 程 中 每 一 秒 钟 都 会 生成 数 十 张 图 片 ， 一 个 操作 通常 会 有 数秒 或 数 
十 秒 的 时 间 跨 度 ， 这 样 就 会 有 成 百 上 干 张 的 图 片 ， 如 果 单 任 人 工 去 确认 ， 会 很 费劲 。 因 此 ， 必 须 寻 找 一 种 方法 ， 能 够 快速 把 这 两 张 图 片 找 出 。 


4.3.4 ”网 页 速度 对 比 测试 举例 


QQ 浏览 器 (iPhone) 的 网 页 速度 测试 ， 我 们 选择 录 屏 的 方式 实现 。 截 屏 方式 太 占 资源 ， 而 另外 两 种 方式 需要 额外 设备 ， 人 力 投 入 也 大 。 打 日 志 计 时 的 方式 用 不 上 ， 因 为 我 们 需要 对 比 各 种 产品 ， 所 以 
没有 办 法 获得 它们 的 源码 。 


我 们 争取 把 整个 测试 过 程 都 自动 化 ， 而 不 需要 人 工 参 与 。 

首先 准备 一 台 越狱 的 iPhone 以 及 一 台 Mac 机 器 ，iPhone 上 需要 准备 的 软件 有 : 
触摸 精灵 ; 
. Displsy Recorder. 

大 致 测试 流程 如 下 。 


步骤 1: 准备 自动 执行 的 脚本 ， 保 证 以 下 所 有 操作 都 是 自动 执行 的 。 在 iOs 平 台 上 ， 推 荐 使 用 触摸 精灵 。 脚 本 先 通过 录制 生成 ， 再 人 工 编辑 成 适合 执行 的 脚本 。 这 里 说 的 编辑 一 般 是 指 对 等 待 时 长 的 编 
辑 ， 比 如 脚本 先 单 击 启动 了 浏览 器 ， 需 要 等 待 10 秒 钟 ， 再 打开 页 面 ， 这 些 等 待 时 间 最 好 是 一 致 的 ， 并 且 要 预 留 足够 长 的 时 间 ， 避 免 运 行 速 度 慢 而 导致 预期 的 界面 没有 加 载 出 来 就 开始 执行 下 一 步 的 动作 。 执 
行 脚 本 不 宜 增加 太 多 的 逻辑 判断 ， 特 别 是 图 片 对 比 的 判断 ， 因 为 这 些 对 手机 本 身 的 性 能 有 一 定 影响 ， 所 以 可 以 用 最 简单 的 脚本 去 执行 。 


脚本 的 执行 流程 一 般 如 下 。 
(1) 启动 录 屏 ; 
(2) 启动 被 测 浏览 器 ; 


(3) 在 浏览 器 中 打开 一 个 页 面 ; 


(4) 关闭 这 个 页 面 ; 

(5) 退出 浏览 器 并 结束 录 屏 。 

也 就 是 说 ， 脚 本 执行 会 自动 生成 一 段 段 的 视频 ， 每 一 段 视频 都 会 记录 一 个 站 点 打开 的 过 程 。 

步骤 2: 手机 端 执行 脚本 局 动 录 屏 。 将 两 个 打开 网 页 的 过 程 用 录像 保存 下 来 ， 供 后 续 分 析 。 

步骤 3: 手机 端 执行 打开 网 页 的 操作 。 网 页 打开 过 程 大 致 如 图 4-4 所 示 ， 图 片 中 展示 的 浏览 器 的 四 个 状态 分 别 如 下 。 
(1) 打开 一 个 快 链 ， 白 点 出 现 的 图 ; 

(2) 网 页 加 载 过 程 中 ， 跳 转 时 出 现 的 白 屏 ; 

(3) 网 页 加 载 过 程 中 ， 首 次 出 现 页 面 内 容 的 图 ; 

(4) 页 面 加 载 完成 的 图 片 。 
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图 4-4 浏览 器 打开 网 页 的 变化 过 程 
步骤 4: 手机 端 执行 脚本 结束 录 屏 ， 保 存 录像 。 


步骤 5: 手机 将 新 的 视频 传 到 Mac 端 处 理 ， 同 时 手机 端 继续 执行 步骤 2。 


scp 127.0.0.122 alpine:/video in iPhone.mov ./video in Mac.mov 


步骤 6: Mac 端 执行 脚本 将 视频 分 帧 。 分 帧 后 的 图 片 如 图 4-5 所 示 。 


ffmpeg -i "videoFile.mov" -f image2 -vf fps=fps=40  "pngFiles.png" 
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图 4-5 ”打开 页 面 录像 分 帧 后 的 图 片 


步骤 7: Mac 通 过 计算 找到 初始 打开 网 页 的 那 张 图 的 时 间 ， 作 为 开始 计时 的 时 间 点 。 


当 完 成 操作 时 ， 会 在 操作 的 位 置 画 上 一 个 白 点 ， 如 图 4-6 所 示 。 我 们 的 思路 是 ， 通 过 图 片 对 比 的 方式 把 出 现 这 个 白 点 的 第 一 张 图 给 找 出 来 。 
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图 4-6 


点 击 打开 页 面 时 出 现 白 点 的 第 一 张 图 


直接 获取 某 一 区 域 的 RGB 值 ， 如 果 RGB 值 有 出 现 明 显 的 变化 ， 就 会 认为 白 点 出 现 了 。 记 录 这 张 图 片 为 第 N 张 。 核 心 代码 如 下 : 


public static booleanisChangeWhiteColor (AppUI des) { 
intscreenX = whitePointArea.x; 
intscreenY = whitePointArea.y; 
int width = whitePointArea.width; 
int height whitePointArea.height; 
booleanisChanged = false; 
// 第 一 张 图 片 
if (0 == lastWhiteSize) { 
lastWhiteSize = des.getWhitePositionSize(screenX, screenY, width,height); 
return false; 


} 

// 第 二 张 开 始 else { 

intcurSize = des.getWhitePositionSize(screenX, screenY, width,height); 
if (Math.abs(curSize - lastWhiteSize) »diffpointcount openwebseit)( 
isChanged - true; 

lastWhiteSize - 0; 

} 

else { 

isChanged = false; 

lastWhiteSize = curSize; 

} 

} 


returnisChanged; 


步骤 8: 找到 网 页 显示 完成 的 那 张 图 片 。 同 样 使 用 图 片 对 比 的 方式 。 


这 里 先 引 入 一 个 复杂 度 的 概念 。 对 于 一 张 图 片 ， 我 们 把 它 平均 分 成 P 个 小 区 域 ， 对 于 每 一 个 小 区 域 ， 如 果 这 个 区 域内 颜色 单一 ， 就 记 这 个 小 区 域 为 0， 否 则 记 为 1。 如 果 最 终 计 算 有 q 个 小 区 域 颜色 不 单 


一 ， 那 么 这 张 图 片 的 复杂 度 为 q/P。 


- 


上 述 中 的 “颜色 单一 ”， 也 是 通过 色 值 对 比 得 出 的 。 我 们 随机 取 这 个 小 区 域 中 的 部 分 离散 点 ， 如 果 这 些 点 的 RGB 值 都 很 接近 ， 则 认为 “颜色 单一 ”。 


基于 这 样 一 个 概念 ， 我 们 容易 理解 : 当 一 张 图 片 是 纯色 的 时 候 ， 其 复杂 度 为 0; 当 其 颜色 多 样 繁杂 的 时 候 ， 复 杂 度 接近 1。 


打开 一 个 网 页 时 有 这 样 一 个 特点 ， 就 是 网 页 的 显示 区 域 会 先 出 现 大 片 的 空白 ， 然 后 才 逐 渐 填 充 网 页 的 内 容 。 我 们 按照 时 间 顺 序 往 后 查找 图 片 ， 那 么 可 以 认为 ， 当 这 个 网 页 的 显示 区 域 的 复杂 度 接近 1 时 ， 


就 说 明 网 页 已 经 加 载 的 差不多 ， 记 这 张 图 片 为 第 M 张 。 


if (complexity > 0.9)( 
System.out .Println(" 首 屏 铺 满 ="+time[2])， 


步骤 9: 计算 这 一 次 打开 页 面 的 时 间 为 (M-N) /n，n 为 视频 的 FPS 值 。 


由 于 整个 测试 过 程 都 是 用 脚本 自动 执行 的 ， 所 以 可 以 长 时 间 大 量 执行 测试 ， 采 样 大量 的 数据 来 说 明 页 面 速度 存在 问题 ， 


的 性 能 自动 测试 。 可 能 具体 的 方法 并 不 完全 适用 于 其 他 场景 ， 但 是 其 中 的 思路 是 可 以 借鉴 的 。 


讲 到 这 里 ， 我 们 不 禁 会 想 ， 


能 不 能 做 更 多 的 事 呢 ?” 当 我 们 说 “这 个 浏览 器 的 速度 比 那 个 浏览 器 的 速度 慢 


以 对 浏览 器 的 打开 页 面 做 一 个 客观 的 评价 。 这 是 针对 浏览 器 打开 网 页 这 种 场景 做 


”的 时 候 ， 我 们 仅仅 是 发 现 了 问题 而 已 ， 但 是 速度 慢 在 哪 不 知道 。 所 以 我 们 做 了 更 多 的 尝试 。 


我 们 的 思路 是 ， 网 页 打开 的 速度 由 哪些 因素 组 成 ， 能 不 能 计算 出 每 部 分 的 速度 是 多 少 ? 这 样 ， 一 方面 能 验证 上 述 方法 的 正确 性 (各 块 的 速度 之 和 等 于 总 的 打开 速度 ) ; 另 一 方面 能 把 问题 原因 的 范围 缩 


小 ， 帮 助 定位 。 
首先 要 了 解 的 是 ， 网 页 打开 的 速度 由 网 络 速 度 和 本 地 速度 组 成 。 本 地 速度 (主要 是 解析 、 泻 染 、 
(1) DNS 时 间 : 建立 DNS 连接 的 时 间 ; 
(2) 连接 时 间 : 与 服务 器 建立 连接 的 时 间 ， 即 三 次 握手 的 时 间 ; 
(3) 发 送 请 求 时 间 : 建立 连接 后 到 发 送 第 一 个 请 求 的 时 间 ; 
(4) 等 待 应 答 时 间 : 发 送 请 求 后 到 接收 到 第 一 条 数据 的 时 间 ; 


(5) 回 包 时 间 : 接收 服务 器 返回 数据 的 时 间 。 


绘制 ) 难以 做 进一步 的 分 解 和 定位 ， 但 网 络 速 度 却 有 人 迹 可 循 。 网 络 速 度 由 以 下 几 个 部 分 组 成 。 


通常 ， 在 测试 网 页 速度 的 同时 ， 我 们 会 抓 取 网 络 数据 包 (.pcap) ， 以 供 我 们 分 析 网 络 数据 传输 部 分 的 速度 。 对 于 每 一 个 请 求 ， 我 们 可 以 通过 分 析 网 络 包 打 到 每 个 时 间 节 点 的 标致 位 来 精确 计算 其 每 一 部 


分 的 时 间 ， 代 码 如 下 : 


// 连 接 时 间 

connect time = request.ts start - request.ts connect 
// 发 送 请 求 时 间 

send time = request.ts end - request.ts start 

// 等 答应 答 时 间 

wait time = response.ts start - request.ts end 

// 回 包 时 间 

receive time = response.ts end - response.ts start 


-EifBSrequest.ts start, request.ts connect 等 时 间 ， 都 是 直接 从 网 络 数据 包 .pcap 中 分 析 得 出 的 。 


这 样 的 数据 ， 对 于 定位 问题 很 有 帮助 。 能 够 清楚 知道 哪 一 个 环节 的 速度 慢 ， 可 以 缩减 定位 问题 的 时 间 。 


4.4 ”稳定 性 测试 


软件 内 退 对 用 户 感 知 冲击 很 大 。 从 用 户 的 角度 来 看 ， 使 用 某 款 软件 不 发 生 闪 退 当然 最 好 ， 但 这 是 比较 理想 化 的 ， 任 何 一 款 软件 都 有 一 定 的 概率 会 出 现 崩 溃 。 我 们 常用 在 一 定时 间 内 软件 内 退 了 多 少 次 来 
衡量 该 软件 的 运行 稳定 性 ， 次 数 越 少 越 好 。 常 用 的 方式 一 般 有 两 种 : 一 是 单一 功能 的 反复 测试 ， 二 是 软件 整体 的 随机 测试 ， 用 于 验证 整体 的 稳定 性 。 这 里 主要 介绍 软件 整体 的 随机 测试 。 


Qum 这 里 所 说 的 随机 测试 是 自动 化 测试 的 一 种 方式 ， 在 Android 系 统 上 有 monkey， 但 在 iDOS 系 统 上 ， 还 需要 测试 人 员 做 更 多 的 准备 工作 。 


4.4.1 测试 框架 介绍 
首先 要 说 的 是 ， 在 软件 源码 的 基础 上 ， 集 成 测试 框架 ， 利 用 测试 框架 封装 好 的 测试 接口 来 编写 测试 用 例 ， 这 是 自动 化 测试 最 常 采 取 的 一 种 方式 。 
一 个 好 的 测试 框架 会 给 测试 人 员 节 省 很 多 时 间 ， 也 可 以 让 测试 更 有 效 、 更 稳定 。 那 么 常用 的 测试 框架 有 哪些 ? 它们 各 自 的 优势 在 哪 ? 表 4-1 对 比 了 iOS 端 的 常用 测试 框架 。 


表 4-4 测试 框架 对 比 


测试 框架 缺 M 
前 已 经 基本 不 更 新 了 ,i J EI 
| ) 可 录制 回放 ， 容 易 上 手写 脚本 ， NK s 基本 不 更 新 了 ,iOS 6 以 上 的 系 
FoneMonkey 2.) 测试 的 录制 和 执行 可 以 全 在 手机 端 完成 ; | “ TT EM dis 
3) 提供 对 表态 数据 验证 机 制 DE UN TN 
1) 更 新 修复 快 ; 
KIF 2) 继承 了 XCTest; 对 控件 支持 不 太 好 ， 不 太 适 合 做 纯 UI 的 操作 
) 框架 本 号 稳定 
UITest 官方 提供 的 UI 目 动 化 测试 解决 方案 ， 可 以 1) 只 能 通过 Mac 机 器 联机 执行 ; 
录制 回放 ， 更 新 快 ， 运行 速度 快 2 ) 对 UIWebView 支持 不 好 
1) FE, BYES, LERO w HER; ENA 
go, - mi. 
Acum 2) 无 须 重 编译 被 测 App， 也 无 须 对 App 做 | ，， 


任何 修改 


这 么 多 的 测试 框架 ， 大 可 根据 自己 的 喜好 去 选择 。 其 中 UlTest 是 官方 新 推出 的 框架 ， 更 新 维护 很 及 时 ， 目 前 版 本 不 够 稳定 ， 编 码 也 比较 麻烦 ， 但 是 一 直 在 做 优化 ， 是 单元 测试 和 UI 自动 化 测试 的 利器 。 


4.4.2 ”稳定 性 测试 思路 
测试 思路 是 整个 测试 的 核心 部 分 。 
不 管 采用 哪 一 种 思路 ， 我们 的 出 发 点 都 是 让 测试 尽 可 能 高 效 、 覆 盖 面 尽 可 能 广 。 


先 看 控件 部 分 ， 随 机 对 某 一 个 控件 进行 某 一 个 操作 ， 测 试 会 比较 随机 。 同 时 ， 因 为 操作 都 集中 在 部 分 可 获取 、 可 操作 的 控件 上 ， 所 以 大 部 分 操作 都 是 有 效 的 。 稳 定性 测试 思路 如 图 4-7 所 示 。 


VIA TA 
脚本 参数 


AH] "RE 


天 闭 弹 框 


随机 选择 
空 件 


生机 选择 一 个 
执行 动作 


图 4-7 稳定 性 测试 思路 


再 看 基于 像素 点 的 设计 思路 。 首 先 必须 保证 测试 有 随机 性 。 但 是 实践 证 明 纯 随机 的 操作 ， 测 试 效率 太 低 ， 覆 盖 面 太 小 ， 能 发 现 的 问题 太 少 。 项 目 初期 能 发 现 一 些 明显 的 问题 ， 但 很 快 就 很 难 发 现 问 题 
了 。 所 以 ， 随 机 胡乱 点 击 的 这 种 测试 不 可 取 ， 但 我 们 可 以 对 其 改进 。 我 们 的 思路 是 在 随机 测试 的 基础 上 加 入 一 些 非 随 机 的 测试 ， 以 有 效 提高 测试 效率 。 非 随机 是 和 随机 相对 的 ， 主 要 的 思想 有 以 下 几 条 。 


(1) 特殊 坐标 点 处 理 : 像 工具 栏 中 一 些 常 用 的 按钮 、 弹 出 框 经 常 出 现 的 位 置 ， 都 可 以 先 计算 出 来 ， 在 一 定 概 率 下 直接 点 击 这 些 位 置 。 这 样 的 点 应 该 不 会 太 多 ， 对 于 每 一 个 应 用 都 可 以 花 很 短 的 时 间 去 计 
算出 来 ， 但 是 效果 却 非常 明显 。 


(2) 将 常用 操作 封装 成 一 个 接口 ， 并 有 序 执 行 : 因为 很 多 功能 都 需要 数 次 的 点 击 或 其 他 操作 才能 触发 ， 比 如 删除 一 个 书签 ， 需 先 打开 书签 管理 器 ， 然 后 点 击 编辑 及 某 一 个 书签 ,最 后 点 删除 这 样 的 操 
作 ， 用 随机 的 方法 不 可 能 连续 执行 这 一 连 串 的 事件 。 其 实 像 这 样 需要 两 次 及 以 上 才能 完成 的 操作 ， 用 随机 的 方法 都 很 难 被 覆盖 到 。 所 以 ， 为 了 覆盖 到 这 样 的 功能 ， 都 会 把 其 操作 路 径 封装 成 一 个 接口 ， 顺 序 
执行 ， 中 间 不 加 其 他 的 随机 操作 。 这 样 的 随机 方法 就 可 以 覆盖 绝 大 部 分 的 功能 。 当 然 ， 封 装 接口 时 ， 每 一 个 操作 可 以 是 绝对 坐标 点 的 操作 ， 即 计算 出 第 一 个 操作 涉及 的 坐标 点 ， 再 逐个 操作 ; 也 可 以 是 模糊 


的 区 域 操 作 ， 即 执行 某 一 个 操作 后 ， 下 一 步 的 操作 限定 在 某 一 个 区 域内 ， 这 有 效 提 高 了 测试 效率 和 履 盖 率 。 


(3) 提高 常用 区 域 的 点 击 率 ， 降 低 不 常用 区 域 的 点 击 率 : 每 个 应 用 都 会 有 最 常 被 使 用 的 功能 和 边沿 性 的 功能 。 我 们 的 思路 是 根据 应 用 的 特点 来 提高 某 些 操作 的 概率 ， 提 高 某 些 区 域 的 点 击 率 ， 以 达到 提 
高 测试 效率 的 目的 。 


(4) 随机 地 执行 第 (1). (2) 条 中 的 动作 或 者 全 屏 随 机 操作 ， 即 像素 点 找 好 后 、 想 要 的 操作 封闭 好 后 ， 再 随机 执行 这 些 操作 ， 中 间或 夹杂 着 全 屏 纯 随机 的 操作 ， 或 是 一 小 段 一 小 段 有 序 的 操作 。 
执行 测试 设计 时 ， 一 般 会 把 这 两 个 方式 放 在 一 起 ， 这 样 测试 的 覆盖 面 会 更 大 些 。 


上 面 提 到 过 ， 我 们 的 衡量 方式 是 一 段 时 间 内 程序 出 现 闪 退 的 次 数 ， 那 一 般 来 说 ， 这 段 时 间 越 长 ， 这 个 测试 结果 才 越 有 说 服 力 ， 半 小 时 或 1 小 时 的 测试 结果 ， 完 全 没有 意义 。 这 样 就 要 求 我 们 ， 测 试 必须 要 
长 时 间 执 行 ， 程 序 出 现 Crash 时 也 要 能 拉 起 来 继续 执行 测试 。 


说 到 执行 测试 ， 因 为 我 们 已 经 把 测试 代码 和 测试 框架 都 集成 到 被 测试 软件 中 了 ， 所 以 只 要 启动 被 测试 程序 ， 就 开始 执行 测试 了 。 


我 们 的 思路 是 从 进程 入 手 ， 在 确保 进程 名 唯一 的 情况 下 ， 对 被 测试 程序 的 进程 进行 监控 ， 如 果 发 现 进 程 结 束 ， 则 重新 用 脚本 启动 被 测试 程序 ， 继 续 执行 测试 ， 代 码 如 下 : 


pid-'psaux|grep $App binary|grep -v grep |tr -s " |cut -d '' -f 2` 
if[ -z "Spid" ]; then 

OpenApp ${App ID] 

waitforAppStart 


sleep 2 
done 


其 中 ，open 是 iOs 平 台 启 动 应 用 程序 的 命令 行 工具 ， 后 面 的 参数 是 应 用 的 Bundle ID (用 来 唯一 标识 应 用 的 ID) ， 需 要 越狱 的 机 器 才能 使 用 。 


再 举 一 个 简单 的 例子 ， 以 KIF 为 框架 ， 用 例 是 浏览 器 里 随机 测试 设置 的 功能 。 测 试 的 设计 思路 如 上 面 所 描述 ， 这 也 是 稳定 性 测试 的 核心 思想 。 基 于 KIF 的 工程 如 何 配 置 ， 请 参见 《iOS 自 动 测试 入 门 》 一 
书 。 示 例 代码 如 下 : 


- (void)closeWindows 


{ 

// 关 闭 一 个 窗口 
CGPoint pointMultiWindows = CGPointMake (225, 980); 
[tester tapScreenAtPoint:pointMultiWindows]; 
CGPoint pointclose = CGPointMake (275, 180); 
[tester tapScreenAtPoint:pointclose]; 


- (void)randomtap 


{ 

// 全 屏 随 机 点 击 

CGPoint point; 

for (int i = 10; i > 0; i--) { 

point.x = arc4random() % 640; 

point.y = arc4random() $ 1120; 
[tester tapScreenAtPoint:point]; 

} 

} 


- (void)returnback 
{ 

[tester tapViewWithAccessibilityLabel:Q"4®"]; 
- (void)settings testcase 


{ 

// 进 入 页 面 设 置 

CGPoint point = CGPointMake (320, 980); 
[tester tapScreenAtPoint:point]; 

// 随 机 进入 一 个 设置 项 
point.y = arcárandom() $ 900; 
[tester tapScreenAtPoint:point]; 
[self randomtap]; 

[self returnback]; 

[self closeWindows]; 


- (void)other testcase 
{ 

// 其 他 用 例 

} 

- (void)testMonkey 


{ 
if (arc4random() $4 == 1) {// 用 于 控制 下 面 这 个 用 例 执 行 的 概率 


[self settings testcase]; 


} 
if (arc4random() % 10 ==1){ 
[self other testcase]; 


} 
} 


44.3 ”稳定 性 测试 结果 记录 


如 前 所 述 的 测试 方式 ， 我 们 需要 考虑 的 是 哪些 信息 对 我 们 有 帮助 ， 能 不 能 把 它们 记录 下 来 ， 帮 助 我 们 后 续 定 位 问题 。 如 果 不 记录 测试 过 程 中 的 有 效 信息 ， 测 试 的 效果 也 会 大 打折 扣 ， 所 以 要 做 好 最 后 一 
步 。 


通常 需要 两 部 分 的 记录 : 一 是 当 应 用 程序 崩 演 时 系统 本 身 生成 的 日 志 ， 我 们 称 为 CrashLog; 二 是 测试 执行 过 程 中 打印 的 其 他 有 效 日 志 。 
1.CrashLog 记 录 


CrashLog 是 软件 出 现 闪 退 时 最 重要 的 凭证 ， 也 是 我 们 跟 进 问题 的 关键， 在 执行 完 一 次 测试 后 ， 可 以 将 手机 端 产 生 的 CrashLog 同 步 到 PC 上 ， 这 时 可 以 看 到 两 种 文件 ， 一 种 以 .log 结尾 ， 另 一 种 以 .Crash 


其 中 以 ,log 结尾 的 文件 以 LowMemory 开 头 ， 是 由 于 内 存 问题 引起 的 闪 退 而 生成 的 日 志 。 它 主要 记录 了 程序 内退 时 系统 内 存 的 分 配 情 况 ， 如 图 4-8 所 示 。 


Processes 
Name &lt;UUID&gt; recent max 


555 
485 
1562 
1100 
1239 
694 
419 


accountsd &lt;e6ceba0e6e053a3ea02d0a916903cf f BEgt 
lsd &1t;56626Bcf717b335e9Bddbal68ca9315ab&gt 
assetsd &lt;22bfe23B9c9a3c35B81185aB2527b1f6a&gt 
MobileMail &1t;e07ca7a72B80736c7bf 301451fB9d1c02&gt 


MobilePhone &lt;4494dBb26c6d3ad2bfOb3aafBcOaeebb&gt 
kbd &1t;f7341c9al161a39acb5bcl1B8ea47d6ebb7&gt 

tccd &1t;2778744d992a530c9a7d5657a19b6000B&gt 
librariand &1t;5c2a34477ddf3501aed0ec2d25caa09e&gt 510 
mttlite &1t;34d21c2aBO8cb3e4eOSdbb4ae3b3442b9B&gt 71B37 
ptpd &1t;096297a7240f31B290a2972274cc44dB7&gt ; 242B 
aosnotifyd &1t;47126a99Bbb530Bf9d5cbe82Bdc47d685gt ; 6805 


图 4-8 内存 闪 退 日 志 


内 存 引 起 的 内 退 不 是 应 用 程序 主动 的 内退 ， 而 是 系统 自发 地 强制 关闭 某 一 个 程序 。 一 般 来 说 ， 低 内 存 引 起 的 原因 有 两 个 : 一 个 是 某 个 程序 在 使 用 过 程 中 占用 的 系统 内 存 过 大 ， 但 是 没有 定数 ，1 GB 内 存 
的 iPhone， 当 程序 占用 的 系统 内 存 超 过 200MB 时 被 系统 强制 关闭 很 正常 ， 另 一 个 是 如 果 程序 在 短 时 间 内 申请 内 存 过 大 ， 也 没有 定数 。 但 是 可 以 肯定 的 是 ， 内 存 泄漏 越 少 ， 内 存 占用 越 少 ， 被 系统 强制 退出 的 
概率 就 越 小 。 


对 于 内 存 引 起 的 内 退 ， 不 能 直接 从 日 志 入 手 解 决 ， 内 存 闪 退 的 日 志 也 没有 提供 任何 有 效 信息 可 以 跟 进 问题 。 要 解决 或 优化 问题 ， 只 能 从 优化 每 一 个 小 模块 的 内 存 占 用 做 起 ， 避 免 内 存 泄漏 ，Xcode 中 集 
成 的 Instruments 工 具 集 里 有 很 多 内 存 检查 的 工具 ， 可 以 在 开发 过 程 中 帮助 优化 内 存 。 


另外 一 种 闪 退 时 记录 的 文件 是 .crash 文 件 ， 以 进程 名 称 开 头 ， 这 是 我 们 要 天 注 的 重点 。 人 在 iOS 系 统 中 ， 刚 生成 的 日 志 如 图 4-9 所 示 。 


Thread 8 name: 
Thread ð: 
libobjc.A.dylib 
UIKit 

UIKit 

UIKit 

UIKit 

UIKit 

UIKit 

UIKit 

UIKit 

UIKit 

UIKit 
CoreFoundation 
CoreFoundation 
CoreFoundation 
CoreFoundation 
GraphicsServices 
UIKit 

mttlite 
libdyld.dylib 


a 
1 
2 
3 
4 
5 
b 
7 
5 
G 


Dispatch queue: 


com.apple.main-thread 


axamBpanaan1o6e288b8 
axaBeabndapbl1B8/bfT/c78 
axBBabndapbl1B/3g42T98 
axaBanBdapbl1B/cae2a4 
axaBandapbl1B8/cadf28 
axaBaanBdablB8/387/73abc 
axaBaadapblB/38e933c 
axBBabBdab1B8/bae538 
axBBabBadabl1B8/b84844 
axBBanBadabl18/bl8üde4 
üxBBdABgODlB8/84d1e4 
üxBBadBgODl1822bbc38 
üxBBdABggD1822b99d4 
axBbanaOn1822b9e804 
axaBoandano1B821eBdce 
axnBpanaadnlBd33caB8 
axnBpanaan1B78c2T580 
axbmBpanaanlaBgBa33da8 
axaBBabndap15/56328b8 


ex195e88888 
0x187846000 
0x1878460600 
0x187846000 
0x187846000 
0x1878460600 
0x187846000 
0x187846000 
0x1878486000 
0x1878486000 
ex18/B4B8OO0B 
ex1821eB808 
ex1821eB808 
ex1821e88808 
ex1821e8888 
ex18d338888 
Bx187B4B888 
exlaan2caanB 
@x197630000 


131248 
3865720 
10278485 
4612772 
46116880 
178796 
660284 
3532888 
2869316 
29519908 
20964 
388144 
891348 
892420 
36286 
49286 
503648 
321868 
18424 


图 4-9 ”未 解析 的 .crash 文 件 


从 图 4-9 中 可 以 看 到 ， 有 许多 函数 库 对 应 了 一 些 十 六 进 制 数据 ， 这 些 不 是 可 读 的 。 我 们 需要 有 对 应 应 用 程序 的 二 进 制 文件 (.app 文 件 ) 以 及 符号 文件 (.dSYM 文 件 ) ， 这 些 是 在 编辑 过 程 中 生成 的 。 有 
了 这 些 文件 ， 可 以 直接 用 苹果 公司 提供 的 symbolicatecrash 工 具 将 这 些 十 入 进 制 数据 转换 成 对 应 的 函数 及 其 执行 的 对 应 行 ， 代 码 如 下 : 


symbolicatecrash crashreport.crash myApp.appmy App.app.dSYM»»result.log 


这 样 解析 后 能 看 到 最 终 的 结果 ， 如 图 4-10 所 示 。 


Thread 0 name: 
Thread 80: 
e libobjc.A.dylib 
1 UIKit 
UIKit 
UIKit 
UIKit 
UIKit 
UIKit 
UIKit 
UIKit 
UIKit 
UIKit 
CoreFoundation 
CoreFoundat ion 
CoreFoundat ion 
CoreFoundat ion 
GraphicsServices 
UIKit 
mttlite 
libdyld.dylib 


图 4-10 中 的 第 二 列 记 录 的 是 函数 库 名 称 ， 当 然 我 们 最 关注 的 是 以 自己 的 应 用 命名 的 那 部 分 ， 
就 可 以 很 方便 地 知道 应 用 在 闪 退 之 前 最 后 执行 的 函数 了 。 


有 了 这 些 信息 ， 


2. 过 程 中 的 日 志 


很 多 时 候 ， 从 最 后 的 堆栈 中 还 是 看 不 出 问题 所 在 ， 这 时 就 需要 通过 记录 一 些 其 他 信息 来 帮助 定位 问题 。 
状态 。 比 如 当前 打开 了 哪些 页 面 ， 打 开 了 多 少 个 窗口 ， 每 个 窗口 对 应 哪个 页 面 ， 占 的 内 存 是 多 少 等 ， 这 样 对 于 定位 问题 有 比较 大 的 帮助 。 当 然 ， 要 记录 什么 信息 ， 


要 长 时 间 的 摸索 才能 知道 什么 样 的 信息 才 是 有 效 的 。 


Dispatch queue: com.apple.main-thread 


0x0000000196e200b0 
0x0000000187b17c78 
0x0000000187942f08 
0x0000000187cae2a4 
0x0000000187cadf28 
0x0000000187873a6c 
0x00000001878e933c 
0x0000000187ba6538 
0x0000000187b004844 
0x0000000187b10de4 
0x000000018784d1e4 
0x00000001822bbc30 
0x00000001822b99d4 
0x00000001822b9e04 
0x00000001821e8dc0 
0x000000018d33c088 
0x00000001878c2f60 
0x0000000100033da8 
0x00000001976328b8 


objc retain + 16 

-[UIResponder —overrideInputAccessoryViewNextResponderWithResponder:] + 24 
-[UIPeripheralHost(UIKitInternal)  restoreInputViewsWithId:animated:] + 256 
-[UIAlertController  restoreInputViewsAnimated:] + 132 

-[UIAlertController viewWillDisappear:] + 108 

-[UIViewController  setViewAppearState:isAnimating:] + 820 
-[UIViewController _ viewWillDisappear:] + 100 

. 56- [UIPresentationController runTransitionForCurrentState] block invoke + 768 
.runAfterCACommitDeferredBlocks + 292 
cleanUpAfterCAFlushAndRunDeferredBlocks + 92 

afterCACommitHandler + 96 

CFRUNLOOP IS CALLING OUT TO AN OBSERVER CALLBACK FUNCTION — + 32 
CFRunLoopDoObservers + 372 

..CFRunLoopRun + 928 

CFRunLoopRunSpecific + 384 

GSEventRunModal + 180 

UIApplicationMain + 204 

main (main.mm:19) 

start + 4 


图 4-10 已 解析 的 .ctash 文 件 


它 一 般 是 引起 问题 的 根本 所 在 ， 第 四 列 是 记录 执行 接口 的 名 称 ， 最 后 一 列 “+ 数 字 ” 


5 
6 


是 记录 接口 的 某 一 行 。 


还 是 以 浏览 器 为 例 ， 如 果 根 据 堆栈 不 能 定位 到 问题 ， 就 需要 在 内 退 之 前 记录 下 浏览 器 当前 的 一 些 
需 根据 产品 以 及 出 现 的 问题 来 定 ， 可 和 铺 


mm 
T 


有 了 这 些 测试 的 记录 ， 相 信 会 对 我 们 定位 问题 有 比较 大 的 帮助 。 同 时 ， 这 些 随机 测试 的 结果 也 是 可 以 积累 并 对 软件 的 稳定 性 做 出 评价 的 。 稳 定性 的 随机 测试 本 身 就 有 很 大 的 随机 性 ， 这 是 其 特点 ， 所 以 


需要 很 长 时 间 的 测试 才能 有 一 个 相对 有 说 服 力 的 结论 。 


4.5 WEMA 


某 个 应 用 的 流量 是 指 该 应 用 发 起 网 络 请 求 时 所 产生 的 数据 量 大 小 。 所 以 通常 都 是 


4.5.1 系统 流量 统计 方法 


iOS 系 统 可 以 对 移动 网 络 下 的 流量 进行 统计 ， 方 法 比较 简单 ， 如 下 。 


通过 网 络 数据 包 采 集 和 分 析 得 知 一 个 应 用 的 流量 消耗 ， 而 ijOs 系 统 有 自 带 的 统计 移动 网 络 下 流量 的 功能 。 


(1) 进入 系统 设置 、 蜂 褒 移 动 网 络 ， 将 历史 数据 清空 ; 
(2) 运行 被 测 软件 ， 进 行 流量 测试 ; 
(3) 进入 蜂 寅 移动 网 络 查看 流量 统计 ， 结 果 如 图 4-11 所 示 。 


这 种 方法 的 优点 是 方便 ， 随 时 可 以 执行 测试 ; 缺点 是 信息 少 ， 流 量 有 问题 时 没有 办 法 对 问题 进行 进一步 分 析 。 这 种 方式 的 使 用 群 里 主要 是 用 户 ， 测 试 人 员 一 般 通 过 网 络 数据 包 去 分 析 。 
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《 蜂窝 移动 网 络 使 用 无 线 局 域 网 与 蜂窝 移动 的 应 用 
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时 钟 无 线 局 域 网 与 蜂窝 移动 > 


e 手机 百度 无 线 局 域 网 与 蜂窝 移动 > 
手机 京东 无 线 局 域 网 与 蜂窝 移动 > 
手机 淘宝 “。。 无 线 局 域 网 与 蜂 帘 移动 > 
手机 营业 厅 无 线 局 域 网 与 蜂窝 移动 > 
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图 4-11 系统 流量 统计 

4.5.2. ”数据 包 分 析 法 

数据 包 分 析 法 是 测试 人 员 常 用 的 方式 。 我 们 经 常 做 的 事情 是 在 手机 端 执行 某 些 操作 的 时 候 ， 把 网 络 数据 包 全 部 抓 取出 来 ， 从 数据 包 中 去 分 析 流 量 等 数据 。 那 么 数据 包 怎 么 采集 呢 ?” 下面 分 越狱 机 器 和 非 
越狱 机 器 两 种 情况 来 介绍 。 

1. 非 越狱 机 器 抓 取 网 络 数据 包 

先 看 看 非 越 狱 机 器 的 网 络 数据 包 ( 非 越狱 机 器 抓 取 数据 包 需 要 Mac 机 器 ) ， 步 又 如 下 。 


步骤 1: iOS 设 备用 数据 线 连 接 上 Mac。 


步骤 2: 在 Mac 上 为 iOS 设 备 建立 虚拟 网 络 端口 ， 即 在 终端 中 输入 rvictl-s 设 备 1D (通过 iTunes 查 找 ) 。 


rvictl -s divi ce ID 


步骤 3: 在 终端 输入 如 下 命令 ， 开 始 抓 取 手 机 端 网 络 数据 包 。 


sudo tcpdump-i rvi0 -n -s 0 -w dump.pcap tcp 


其 中 重要 参数 的 含义 如 下 。 

-i rvi0: 选择 需要 抓 取 的 接口 为 rvi0 (远程 虚拟 接口 ) 。 

-s0: 抓 取 全 部 数据 包 . 

-w dump.pcap: 设置 保存 的 文件 名 称 。 

tcp: 只 抓 取 tcp 的 网 络 包 。 

此 时 已 经 生成 dump.pcap 文 件 ， 可 以 通过 wireshark 进 行 查 看 。 在 终端 中 按 Control+C， 则 停止 抓 包 ， 在 停止 之 前 ， 所 有 操作 产生 的 网 络 数据 都 会 被 存储 在 dump.pcap 文 件 中 。 


步骤 4: 为 避免 每 次 抓 包 都 要 建立 不 同 的 虚拟 网 络 端口 ， 在 抓 包 结束 后 要 删 掉 本 次 申请 的 RVI 这 个 虚拟 网 卡 。 


rvictl -x divice ID 


步骤 5: 计算 流量 。 

2. 越 狱 机 器 抓 取 流量 

越狱 机 器 上 抓 取 数 据 包 可 以 在 手机 端 完成 ， 可 以 在 PC 端 完成 ， 也 可 以 在 Mac 端 完成 。 下 面 介绍 一 种 在 PC 端 上 的 抓 取 数据 包 的 方式 ， 其 他 方式 大 同 小 异 。 
需要 准备 的 软件 如 下 。 

. PC 端 : 同步 助手 类 软件 如 putty、wireshark。 

. iOS 端 network-cmds、OpenSSH、tcpdump。 

操作 方法 如 下 。 

步骤 1: iPhone 用 数据 线 连接 PC 端 。 


步骤 2: 在 PC 端 打 开 同 步 助 手 ， 在 高 级 功能 中 点 击 打 开 SsH 隧 道 ， 开 局 之 后 会 显示 连接 的 账号 、 密 码 及 连接 的 地 址 ， 如 图 4-12 所 示 。 


关闭 SSH 障 道 往 接 地址; 127.0.0.1: 22, Fg Pg: root TIRES: alpine 


图 4-12 ”开启 SSH 隧 道 
步骤 3: 打开 putty， 在 Host Name 中 输入 上 面 的 链接 地 址 ， 点 击 open 按 钮 。 
步骤 4: 在 打开 的 窗口 中 输入 用 户 名 ， 回 车 ， 再 输入 密码 。 用 户 名 和 密码 如 图 4-12 中 所 示 (确保 手机 root 密 码 没 有 修改 过 ， 若 修改 过 ， 则 密码 是 修改 之 后 的 密码 ) ， 输 入 完成 后 就 会 进入 操作 程序 。 
步骤 5: 输入 如 下 命令 。 
Wi-Fi 环 境 : 
tcpdump -w x.pcap -i en0 -s 680 
3G 网 络 环境 : 


tcpdump -w x.pcap -i pdp ip0 -s 680 


其 中 ，x.pcap 为 抓 取 到 数据 包 的 存放 文件 ，-i 为 指定 监听 的 端口 ，en0 为 对 应 的 无 线 网 卡 ，pdp_ip0 为 3G 网 络 ，-s 680 为 抓 取 从 头 文 件 开始 的 680Byte， 回 车 后 开始 进行 流量 统计 。 
步骤 6: 在 手机 上 执行 要 测试 的 操作 (如 发 送 文字 、 接 收 图 片 、 发 送 文件 等 ) 。 

步骤 7: 操作 完成 后 按 快捷 键 Ctrl+C 终 止 抓 包 。 

步骤 8: 默认 在 iOs 设 备 的 root 目 录 下 会 保存 网 络 数据 包 。 


数据 包 采 集 完 之 后 ， 可 以 通过 它 来 计算 对 应 操作 的 流量 了 。 可 以 通过 wireshark 中 的 统计 功能 查看 ， 如 图 4-13 所 示 ， 这 样 可 以 确定 某 次 操作 所 人 花费 的 流量 。 但 是 ， 由 于 抓 取 某 一 个 设备 的 数据 包 会 将 这 
个 设备 的 所 有 网 络 请 求 都 抓 取 下 来 ， 所 以 ， 为 了 保证 数据 的 准确 性 ， 一 般 会 把 后 台 的 所 有 其 他 进程 都 关闭 。 


E Wireshark: Summary amie XS | 
^ 
File | 
| Name: D:\rtx\azone.pcapng ' 
| Length: 215184 bytes ' 
| Format: Wireshark - pcapng 
| | Encapsulation: Raw IP 
| Time 
First packet: 2016-10-13 17:51:33 
Last packet: 2016-10-13 17:51:37 
Elapsed: 00:00:04 
OS: Mac OS X 10.11.6, build 15G1004 (Darwin 15.6.0) 
Capture application: Dumpcap 1.12.6 (v1.12.6-0-geeifceó from master-1. 
' 
Capture file comments i 
Interface Dropped Packets Capture Filter Link type Packet size limit 
m0 unknown none Raw IP 262144 bytes ' 
中 Display 
| Display fitter: none 
|| Ignored packets: 0 ' 
| 
. 
|y Traffic 4 Captured  * Displayed * Marked 4 
| Packets 792 792 0 i 
Between first and last packet 4.267 sec | 
l| Avg. packets/sec 185.611 
Avg. packet size 


Bytes 


Avg. bytes/sec 
Avg. MBit/sec 


4.6 电量 测试 方法 


239.293 bytes 


44415.457 
0.355 


图 4-13 ”通过 witeshatk 计 算 流 量 


电量 问题 早已 成 为 移动 端 必 须 重 视 的 一 个 问题 。 电 量 的 测 坛 ， 在 产品 上 线 前 显得 尤为 重要 ， 如 果 一 款 软件 用 了 很 短 一 段 时 间 就 有 明显 的 发 热情 况 ， 那 很 有 可 能 会 导致 用 户 的 流失 。 
从 用 户 的 角度 出 发 ， 最 简单 直接 的 测试 方式 就 是 与 用 户 一 样 ， 看 苹果 设备 右上 角 的 电量 标识 就 可 。 通 常 的 做 法 如 下 。 

(1) 关闭 所 有 其 他 后 台 程序 ， 只 留 一 个 被 测试 程序 。 

(2) 关闭 系统 的 所 有 不 必要 功能 ， 如 蓝牙 、 定 位 、 热 点 、 声 音 等 。 

(3) 保持 亮度 一 致 。 


(4) 保证 每 次 测试 电量 一 样 ， 最 好 的 办 法 是 把 电量 充满 。 
Qua 当 电 量 达 100% 时 ， 还 要 再 充电 10 分 钟 以 上 ， 以 确保 电量 一 致 。 
(5) 以 固定 的 操作 执行 被 测试 程序 一 段 时 间 ， 最 好 在 2 小 时 以 上 。 常 用 录制 回放 的 方式 来 保证 每 次 操作 的 一 致 性 。 


(6) 测试 完成 后 记录 当前 剩余 电量 。 


电量 测试 方法 很 直观 ， 也 最 贴近 用 户 的 使 用 场景 。 在 系统 设置 的 电池 里 还 可 以 查看 最 近 一 段 时 间 整 人 手机 的 本 电量 情况 ， 如 图 4-14 所 示 。 
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图 4-14 系统 电量 统计 


4.7 ”内 存 测 试 万 法 

内 存 占用 的 大 小 虽然 对 用 户 来 说 感知 不 强 ， 但 是 内 存 问 题 会 直接 影响 到 软件 运行 的 流畅 度 ， 甚 至 直接 让 运行 程序 内 退 。 对 iOS 平 台 来 说 ， 系 统 对 每 一 个 应 用 程序 有 严格 的 内 存 限制 的 ， 一 个 应 用 程序 内 存 
占用 太 大 或 者 一 次 申请 的 内 存 太 大 ， 都 可 能 直接 被 系统 强制 关闭 。 因 此 ， 对 于 测试 人 员 来 说 ， 内 存 也 是 不 可 忽视 的 性 能 指标 之 一 。 下 面 介绍 iOS 平 台 内 存 测试 的 具体 方法 。 

首先 要 准备 一 个 Mac 机 器 并 安装 苹果 开发 者 工具 Xcode， 然 后 还 需要 被 测试 程序 的 源码 ， 步 骤 如 下 。 

步骤 1: 将 手机 和 Mac 机 器 相连 。 

步骤 2: 被 测试 工程 选择 Profile 的 方式 运行 在 手机 上 。 


步骤 3: 选择 Leaks 并 确定 ， 如 图 4-15 所 示 。 


Choose a profiling template for: Bi 文静 的 iPhone (10.1.1) ^ QQ 浏览 器 


Custom Recent (S) Filter 


Activity Monitor Allocations Cocoa Layout Core Animation Core Data 


Counters Metal System 
Trace 


ý 


OpenGL ES System Trace System Usage Time Profiler Zombies 
Analysis 


Leaks 


Measures general memory usage, checks for leaked memory, and provides statistics on object allocations by class as well as 
memory address histories for all active allocations and leaked blocks. 


Open an Existing File... Cancel 


图 4-15 ”执行 Leaks 


步骤 4: 在 Leaks 界 面 点 击 开始 录制 ， 手 机 上 帅 起 浏览 器 后 执行 内 存 测试 。 

步骤 5: 在 进行 测试 的 过 程 中 ， 能 够 看 到 Leaks 里 记录 了 每 次 申请 内 存 块 的 大 小 以 及 分 配 到 了 哪里 ， 如 图 4-16 所 示 。 

步骤 6: 点 击 界面 中 的 Leak Checks， 能 够 查看 应 用 程序 在 运行 过 程 中 是 否 有 内 存 泄漏 ， 每 处 红色 的 又 都 代表 一 处 内 存 泄漏 ， 双 击 能 定位 内 存 泄漏 的 代码 ， 如 图 4-17 所 示 。 
步骤 7: 结束 测试 并 检查 内 存 占 用 是 否 异常 、 是 否 有 内 存 泄漏 ， 结 束 测试 。 


如 果 测 试 人 员 想 直接 查看 整个 应 用 程序 占用 了 多 少 内 存 ， 可 以 在 Profile 之 后 运行 Acivity Monitor， 这 款 工具 能 够 查看 手机 里 每 一 个 应 用 程序 占用 了 多 少 内 存 ， 如 图 4-18 所 示 。 
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Run 1 of 1 00:05:27 
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© Details ) EH Statistics ) Allocation Summary 


Leak Checks 


| G Instrument Detail 


Persistent B...» # Transient # Total 


36.40 MiB 477,145 


16.00 MiB 476,790 
20.41 MiB 355 


# Persistent 
All Heap & Anonymous v...] 99,446 


All Heap Allocations 99,248 
All Anonymous VM 198 


Graph | Category Total Bytes Transient /Total Bytes 


264.48 MiB 


216.76 MiB 
47.72 MiB 


Launch Configuration for All Allocations 


: Discard unrecorded data upon stop 
' | Discard events for freed memory 
' | Only track VM allocations 


VM: CG raster data 


VM: UlHomePageVideoT... 
VM: UlHomePagelnfoThr... 
VM: UlTopBarWeatherAn... 


VM: CoreAnimation 
VM: ImagelO, PNG. Data 
Malloc 8.00 KiB 

Malloc 320 Bytes 
CFString (immutable) 
Malloc 3.00 KiB 

VM: SQLite page cache 
CFData 

VM: Image IO 
CABPFilter 

Malloc 2.00 KiB 

Malloc 64.00 KiB 


VM: HPChartView (CALa... 


Malloc 32.00 KiB 
Malloc 4.00 KiB 


CFBasicHash (value-stor... 


Malloc 272 Bytes 

— NSArrayM 
CFBasicHash (key-store) 
Malloc 64 Bytes 

Malloc 304.00 KiB 
Malloc 48 Bytes 


VM: UlHomePageFeedsT... 


VM: Activity Tracing 
Malloc 8.50 KiB 


41 


6.22 MiB 

3.12 MiB 

2.19 MiB 

2.05 MiB 

2.03 MiB 

1.91 MiB 

1.89 MiB 

1.34 MiB 
933.31 KiB 
816.00 KiB 
704.00 KiB 
703.09 KiB 
640.00 KiB 
600.05 KiB 
586.00 KiB 
512.00 KiB 
480.00 KiB 
448.00 KiB 
404.00 KiB 
380.16 KiB 
379.31 KiB 
358.36 KiB 
351.83 KiB 
328.62 KiB 
304.00 KiB 
288.47 KiB 
272.00 KiB 
256.00 KiB 
255.00 KiB 


3 
0 


6.45 MiB 
3.12 MiB 
2.19 MiB 
4.09 MiB 
9.14 MiB 
1.91 MiB 
5.47 MiB 
1.39 MiB 
2.89 MiB 
3.35 MiB 
1.56 MiB 
1.43 MiB 
1.19 MiB 
604.97 KiB 
1.74 MiB 
9.12 MiB 
480.00 KiB 
8.22 MiB 
24.68 MiB 
3.25 MiB 
2.05 MiB 
751.12 KiB 
2.74 MiB 
2.20 MiB 
304.00 KiB 
2.05 MiB 
272.00 KiB 
256.00 KiB 
7.70 MiB 


图 4-16 Leaks 内 存 申请 分 析 


Launch Configuration for Heap Allocations 
Record reference counts 

Identify virtual C++ objects 

T) Enable NSZombie detection 


Recorded Types 

Search Action 
is Contain... $ Record 
is Prefix $ 

is Prefix 


Type String 


> <> <> <) 


Rules are evaluated top-to-bottom; 
later rules override earlier ones. 
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© Details ) EB Leaks ) Leaks by Backtrace 


Leaked Object # Address Size Responsible Library Responsible Frame 
NSLock 1 0x1740c5c50 |12 Bytes CFNetwork -[NSURLCacheDBReader initWithDBPath:maxSize:] 
NSMutableSet 1 0x17404cabO 48 Bytes CFNetwork -[NSURLCacheDBReader initWithDBPath:maxsSize:] 
NSLock 1 0x1740c5ccO 112 Bytes CFNetwork -[NSURLCacheDBReader initWithDBPath:maxSize:] 
NSURLCacheDBReader 1 0x1740c5d30 112 Bytes CFNetwork . CFURLCache::createNSURLStorageClient( CFStri... 


Nothing 


图 4-17 Leaks V] Ze 33 23 t 


Instruments15 


| Run 1 of 1 00:03:50 


Q9 Details ) EH Summary ) Samples 


Process ID Process Name User Name % CPU Threads Real Mem Virtual Mem Architecture CPU Time Sudden Term 
T anstama T "UDyies TUZ GID aros UDS.ZUSSZO N/A 


com.apple.Mo... root 0 Bytes 1.02 GiB arm64 00.19068 N/A 
bird mobile 92.00 KiB 1.05 GiB arm64 00.573446 N/A System Statistics 
coresymbolic.. root 8.00 KiB 1.02 GiB arm64 11.17002 N/A 
deleted mobile 0 Bytes 1.05 GiB arm64 00.238765 N/A 
CacheDeletel.. mobile 0 Bytes 1.05 GiB arm64 00.75516 N/A = 
webbookmark.. mobile 0 Bytes 1.02 GiB arm64 00.114494 N/A 以 * User Load 
revisiond root 0 Bytes 1.05 GIB arm64 00.71319 N/A V. % System Load 
asimanager root O Bytes 1.02 GiB arm64 00.41732 N/A Select statistics to list 
com.apple.qui.. mobile O Bytes 1.05 GiB arm64 00.65748 N/A 
CacheDeleteA... mobile 0 Bytes 1.03 GiB arm64 03.838179 N/A 
replayd mobile 24.00 KiB 1.02 GiB arm64 00.70492 N/A d 
ContainerMet.. mobile 0 Bytes 1.02 GiB arm64 00.67491 N/A |. PhysicalMemoryWired 
mediaremoted mobile 160.00 KiB 1.05 GIB arm64 00.267322 N/A (.. PhysicalMemoryActive 
assistantd mobile 1.71 MiB 1.05 GIB arm64 00.347236 N/A | . PhysicalMemorylnactive 
com.apple.Sa.. root 200.00 KiB 1.05 GiB arm64 00.465009 N/A (^ PhysicalMemoryUsed 
findmydeviced mobile 132.00 KiB 1.05 GiB arm64 00.28295 N/A 门 PhysicalMemoryFree 
UpNext mobile 1.84 MiB 1.15 GiB arm64 00.73048 N/A (7 TotalVMSize 
MobileSMS mobile 2.26 MiB 1.17 GiB arm64 01.694125 N/A im VilPagelaByisé 
MobileGestalt.. mobile 980.00 KiB 1.02 GiB arm64 00.21827 N/A 
fmfd mobile 808.00 KiB 1.05 GiB arm64 00.88898 N/A (C VMPageOutBytes 
suggestd mobile 872.00 KiB 1.07 GiB arm64 00.30494 N/A |. VMSwapUsed 
pasted mobile 836.00 KiB 1.02 GiB arm64 00.74721 N/A (.. NetPacketsin 
nanotimekitco.. mobile 988.00 KiB 1.05 GiB arm64 00.280446 N/A | |. NetBytesin 
AGXCompiler.. | mobile 272.00 KiB 1.03 GiB arm64 00.50444 N/A (| NetPacketsOut 
pipelined root 672.00 KiB 1.05 GiB arm64 00.512717 N/A [ NetBytesOut 
mapspushd mobile 896.00 KiB 1.05 GiB arm64 00.181136 N/A (^) NetPacketsinPerSecond 
mttlite mobile 7.19 MiB 1.31 GiB arm64 04.350463 N/A = NetPacketsDutPerSacond 
com.apple.dt.i.. root 2.08 MiB 1.02 GiB arm64 18.73385 N/A 
QQ mobile 79.17 MiB 1.35 GIB arm64 25.77024 N/A 一 NetBytesinPerSecond 
828.00 KiB 1.02 GiB arm64 00.7821 N/A ( ) NetBytesOutPerSecond 
748.00 KiB 1.05 GiB arm64 00.10135 N/A [_ DiskReadOps 

16.59 MiB 1.06 GiB arm64 15.30272 N/A [ DiskBytesRead 

1.25 MiB 1.02 GiB arm64 00.39855 N/A (^ DiskWriteOps 


(V VM Size 
(V. % Total Load 


[ SampleNumber 
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图 4-18  Acivity Monitor 测 试 界面 


内 存 问题 是 软件 开发 过 程 中 必须 面 对 的 一 个 问题 ， 测 试 人 员 也 必须 重视 ， 内 存 出 现 问 题 往往 都 是 大 问题 ， 非 常 影响 用 户 体验 。 


4.8 ”流畅 性 测试 

流畅 性 指 的 是 软件 运行 中 会 不 会 出 现 卡 顿 的 现象 。 虽然 运行 流畅 与 否 与 硬件 有 关 ， 但 是 与 软件 本 身 的 处 理 速度 也 有 很 大 关系 。 由 于 流畅 问题 定位 和 跟 进 比 较 难 ， 所 以 我 们 仍 选择 用 软件 源码 基于 Xcode 
开发 工具 的 方式 去 测试 ， 步 又 如 下 。 

步骤 1: 将 手机 和 Mac 机 器 相连 。 

步骤 2: 被 测试 工程 选择 Profile 的 方式 运行 在 手机 上 。 

步骤 3: 选择 Core Animation 并 确定 。 

步骤 4: 在 Core Animation 界 面 点 开始 录制 ， 并 开始 在 手机 端 执行 流畅 性 测试 ， 快 速 滑动 某 个 界面 或 者 使 用 某 一 个 功能 。 

步骤 5: 在 Core Animation 下 方 会 打印 每 一 秒 钟 的 FPS ( 即 每 一 秒 的 图 像 帧 数 ) ， 数 值 越 大 越 好 ， 如 图 4-19 所 示 。 如 果 在 界面 快速 滑动 的 情况 下 ，FPS 值 仍 低 于 20， 那 么 说 明 出 现 了 明显 的 卡 顿 现象 。 
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图 4-19 Core Animation Jl] 试 界面 


49 小结 


本 章 主要 介绍 了 如 何 对 终端 软件 做 全 面 的 性 能 测试 ， 并 结合 自己 的 理解 ， 让 测试 变 得 尽 可 能 简单 。 性 能 测试 也 与 功能 测试 一 样 ， 不 可 能 履 盖 所 有 的 功能 模块 ， 而 且 性 能 测试 要 有 一 个 相对 可 靠 的 结论 会 
比 功能 测试 更 困难 ， 这 就 要 求 测试 人 员 有 足够 的 耐心 和 巧妙 的 测试 设计 来 应 付 日 常 工 作 中 性 能 模块 的 测试 。 


第 5 草 “iOS 目 动 化 测试 入 门 


自动 化 测试 是 所 有 测试 工程 师 必修 的 一 门 课 。 那 么 如 何在 iOS 上 做 自动 化 测试 呢 ? 本 书 共 分 两 章 (第 5~6 章 ) 来 介绍 。 本 章 是 自动 化 测试 的 入 门 ， 主 要 讨论 自动 化 测试 的 适用 场景 、 在 iOS 平 台 上 的 常用 
框架 和 使 用 方法 。 


第 5 章 “iOS 目 动 化 测试 入 门 


5.1 引 售 


自动 化 测试 是 所 有 测试 工程 师 必修 的 一 门 课 。 那 么 如 何在 iOS 上 做 自动 化 测试 呢 ?” 本 书 共 分 两 章 (第 5~6 章 ) 来 介绍 。 本 章 是 自动 化 测试 的 入 门 ， 主 要 讨论 自动 化 测试 的 适用 场景 、 在 iOs 平 台 上 的 常用 
框架 和 使 用 方法 。 


5.2 ” 目 动 化 测试 适用 场景 


自动 化 测试 虽然 看 起 来 比较 高 端 ， 是 一 个 测试 利器 ， 但 是 在 正式 开始 介绍 测试 框架 前 ， 必 须 先 介绍 自动 化 测试 适用 的 场景 ， 因 为 并 不 是 所 有 的 测试 内 容 都 适合 自动 化 。 
有 几 种 场景 适用 于 自动 化 测试 ， 如 模块 比较 稳定 的 回归 测试 、 极 限 操作 的 测试 、 长 时 间 监 控 类 测试 、 性 能 测试 ， 下 面 分 别 介 绍 。 


模块 比较 稳定 的 回归 测试 : 这 种 场景 又 分 为 适用 于 功能 基本 稳定 的 UI 自动 化 测试 和 接口 基本 不 变 的 接口 测试 。 因 为 考虑 到 自动 化 测试 的 成 本 问题 ， 在 进行 自动 化 测试 部 署 前 ,一定 要 考虑 被 测 模块 的 稳 
定性 。 常 见 的 有 自动 化 冒 烟 测试 ， 又 称 BVT (Build Verification Test) ， 可 以 参考 第 6 章 的 内 容 。 


极限 操作 的 测试 : 这 种 场景 一 般 是 对 一 些 手工 测试 覆盖 不 到 的 情况 做 自动 化 测试 ， 如 层 夜 连续 操作 App 检 测 稳 定性 的 测试 、 连 续 添加 100 个 以 上 书签 的 操作 等 。 
Qua 这 种 情况 是 解决 人 力 所 不 能 及 的 问题 ， 也 是 非常 适用 于 自动 化 测试 的 ， 要 注意 的 是 可 重复 性 高 不 高 ， 如 果 只 是 一 次 性 的 测试 ， 可 能 就 不 太 值 得 投入 做 自动 化 测试 。 
长 时 间 监 控 类 测试 : 这 种 场景 是 最 常见 的 监控 ， 包 括 协 议 、 功 能 的 监控 。 例 如 视频 可 播 性 、 内 容 加 载 类 的 线 上 监控 。 这 种 场景 会 配合 报警 反馈 机 制 ， 让 项 目 组 成 员 在 第 一 时 间 获 取 线 上 反馈 信息 ， 而 不 


是 等 待 用 户 发 现 或 者 测试 人 员 手 工 点 击发 现 ， 响 应 比较 及 时 。 


性 能 测试 : 这 种 场景 一 般 是 因为 性 能 的 测试 需要 比较 统一 的 操作 步骤 和 环境 ， 是 适合 自动 化 测试 的 天 然 土 壤 ， 包 括 对 操作 环境 的 初始 化 操作 、 过 程 操 作 、 结 果 处 理 等 的 自动 化 实现 。 可 以 参考 第 4 章 内 


} 


NI 
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5.3 ” 目 动 化 测试 框 染 


根据 测试 的 方式 ， 可 将 目前 在 iOs 平 台 上 使 用 的 自动 化 测试 分 为 两 类 : 一 类 是 接口 自动 化 测试 ， 它 不 涉及 UI 界面 ， 以 逻辑 模块 接口 为 主要 的 测试 ; 另 一 类 (使 用 较 多 ) 是 UI 自动 化 测试 ， 是 直接 在 应 用 
层 上 操作 App， 模 拟 用 户 操 作 行 为 的 测试 。 因 此 ， 关 于 自动 化 测试 框架 的 内 容 我 们 将 从 接口 测试 和 UI 测试 两 个 方面 去 介绍 。 


5.3.1 ”接口 自动 化 测试 框架 


接口 自动 化 测试 就 是 将 接口 测试 自动 化 ， 接 口 测试 需要 对 代码 有 一 定 的 理解 ， 在 理解 代码 逻辑 的 基础 上 ， 对 产品 的 常用 接口 进行 测试 。 要 实现 自动 化 ， 还 得 借助 工具 实现 那些 手工 烦琐 的 操作 。 接 口 测 
试 的 范围 包括 : 协议 测试 、 前 后 端 协议 的 MOCK 操 作 、 接 口 选取 、 工 具 选 取 或 者 自己 开发 。 


iOS 平 台 上 接口 测试 的 框架 比较 单一 ， 清 一 色 全 是 XCTest 或 基于 XCTest 做 的 封装 ， 其 中 应 用 最 广泛 的 是 原生 的 XCTest 及 第 三 方 的 KIF 框 架 ， 如 表 5-1 所 示 。 


表 5-1 自动 化 测试 工具 介绍 


工具 测试 脚本 语言 | 是 否 需要 项 目 源 代码 基于 什么 框架 开发 


5.3.2 ”UI 自动 化 测试 框架 


B 


Al 


顾名思义 ，UI 自 动 化 测试 就 是 基于 UI 的 模拟 用 户 操作 行为 的 自动 化 测试 。 目 前 了 解 的 UI 自动 化 测试 框架 主要 分 为 两 类 。 


一 类 是 基于 苹果 自 研 框架 的 自动 化 测试 框架 ， 这 类 框架 不 需要 项 目的 源 代 码 就 可 以 实现 自动 化 测试 ， 被 测试 的 应 用 可 以 和 线 上 保持 一 致 ， 但 是 会 受到 官方 证 书 的 一 些 限 制 ， 导 致 很 多 功能 无 法 实现 。 无 
须 App 源 代码 的 自动 化 测试 框架 比较 有 名 的 是 Appium， 其 工作 原理 就 是 通过 HTTP 报 文 ， 通 过 驱动 UI Automation 控 制 手机 UI 操作 。 但 是 ， 由 于 Xcode 8 以 后 UI Automation 没 有 了 ， 因 此 导致 无 法 直接 使 
用 Appium。 


男 一 类 就 是 嵌入 源 代码 工程 的 测试 框架 。 把 测试 代码 注入 应 用 中 ， 并 进行 功能 应 用 一 体 测试 。 这 类 测试 框架 可 以 获取 测试 App 内 部 的 数据 信息 ， 可 操作 性 强 ， 可 以 自由 扩展 新 功能 。 注 入 式 的 框架 包括 
XCTest, Ul Testing、KIF 等 ， 这 些 都 需要 将 测试 代码 和 工程 进行 编 包 处 理 ， 然 后 再 运行 测试 脚本 。 


要 做 好 iOs 系 统 应 用 的 UI 自 动 化 测试 ， 就 必须 选择 好 用 的 工具 ， 这 样 才能 做 到 事半功倍 的 效果 。 目 前 iOs 平 台 上 比较 流行 的 UI 自 动 化 测试 框架 如 表 5-2 所 示 ， 表 中 详细 描述 了 各 个 框架 的 特性 及 优 缺 点 


L3 
^J o 


X52 ”自动 化 测试 工具 介绍 


工具 测试 脚本 语言 是 否 要 原 码 基于 什么 框架 开发 


Ruby, C£, Java, JS, OC, 
Appi E UlAutomati 


通过 对 表 5-2 中 这 几 种 工具 的 对 比 ， 再 结合 自身 项 目的 特点 ，QQ 浏 览 器 (iPhone) 选用 了 XCTest 及 KIF 框 架 作 为 UI 自 动 化 测试 的 基础 框架 。XCTest 作 为 原生 的 框架 ， 使 用 方便 、 上 手 快 、 框 架 更 新 速度 
快 ， 是 is 自动 化 测试 的 基础 框架 ; 而 KIF 作 为 使 用 最 广泛 的 第 三 方 框架 ， 它 的 使 用 更 加 灵活 ， 接 口 更 加 丰富 ， 是 第 三 方 框架 的 首选 。 下 面 将 进一步 介绍 这 两 个 框架 。 


可 


5.4 XCTest 自 动 化 框架 介绍 


XCTest 是 Xcode 上 自 带 的 单元 测试 框架 。 在 Xcode 7 之 前 ，XCTest 还 只 是 一 个 简单 的 单元 测试 框架 ; 但 在 Xcode 7 之 后 ， 它 具有 了 UI 测试 的 能 力 ， 能 模拟 人 工 对 控件 的 操作 ， 能 对 UI 的 状态 进行 判断 ， 
成 为 苹果 官方 大 力 推荐 的 新 兴 测 试 框架 ， 后 面 还 会 持续 更 新 和 优化 。 


XCTest 框 架 是 很 多 其 他 框架 的 基础 ， 如 我 们 前 面 提 到 的 KIF 框 架 ， 就 是 基于 它 开发 的 。XCTest 目 前 拥有 丰富 的 功能 和 接口 ， 同 时 具备 单元 测试 和 UI 测 试 的 能 力 ， 是 iOs 端 测试 首选 的 自动 化 工具 。 下 面 
将 以 Demo 的 形式 来 展开 介绍 XCTest 有 哪些 好 用 的 功能 ， 以 及 如 何 去 使 用 它们 。 


Demo 的 下 载 地 址 : http://tmq.qq.com/how we test QQbrowser iOS/XCTestDemo.php, 


5.4.1 ”框架 集成 


XCTest 是 Xcode 原 生 的 测试 框架 ， 可 以 很 方便 加 入 被 测试 工程 中 。 可 以 分 两 种 情况 看 ， 一 种 是 对 于 新 建 的 工程 ， 当 构建 一 个 新 的 工程 时 ， 勾 选 “Include Unit Tests” 和 “Include UI Tests" 这 两 个 选 
项 即 可 ， 如 图 5-1 所 示 。 其 中 Unit Tests 是 单元 测试 的 模块 ，UI1 Tests 是 U1 测试 的 模块 。 


Choose options for your new project: 


Product Name: |XCTestDemo 


Team: | Add account... | 


Organization Name: ja 


Organization Identifi... 'com.tencent.mttliteTests 


Bundle Identifier: com.tencent.mttliteTests.XCTestDemo 


Language: | Objective-C 


Devices: | Universal 


. | Use Core Data 
[v] Include Unit Tests 
Include UI Tests 


图 5-1  XCTest 新 建 工程 


另外 一 种 是 对 于 已 经 存在 的 工程 ， 只 需要 在 被 测试 工程 的 基础 上 ， 新 建 一 个 测试 的 Target 即 可 ， 步 骤 为 : 首先 打开 被 测试 工程 ， 然 后 选择 文件 、 新 建 Target， 最 后 选择 “iOS UI Testing Bundle" 或 
# "iOS Unit Test Bundle" ， 如 图 5-2 所 示 。 


Choose a template for your new target: 


watchOS  tvOS macOS Cross-platform (5 Filter 


Extension Content Service Extension Extension 


Shared Links Spotlight Index Sticker Pack Today Extension 
Extension Extension Extension 


x 


iOS UI Testing iOS Unit Testing 
Bundle Bundle 


Application 


Previous 


图 5-2  XCTest3 XE JI 3X Target 


选择 后 ， 点 击 “Next” 按 钮 ， 进 入 如 图 5-3 所 示 的 界面 ， 对 于 其 中 黑色 框 出 来 的 部 分 : 如 果 要 在 模拟 器 上 运行 ， 就 随便 填写 字符 ; 如 果 要 在 真 机 上 运行 ， 就 需要 填写 证 书 名 称 。 


Choose options for your new target: 


Product Name: | QQ 浏览 器 UlTests 
Organization Name: | 


Bundle Identifier: com.yourcompany.QQ- --UlTests 


Language: | Objective-C 
Project: mtt 


Target to be Tested: | A mttlite 


Cancel | Previous Finish 


Ej5-3 Target 建立 过 程 


新 建 完成 后 ， 选 择 不 同 的 测试 模块 ， 会 生成 不 同 的 测试 框架 代码 ， 但 两 者 大 同 小 异 ， 我 们 以 Unit Tests 对 应 生成 的 代码 为 例 ， 具 体 代码 如 下 : 


#import 
Qinterface XCTestDemo2Tests : XCTestCase 
Rend 
Qimplementation XCTestDemo2Tests 
- (void)setUp { 
[super setUp]; 
// Put setup code here. This method is called before the invocation of each test method in the class. 
} 
- (void)tearDown { 
// Put teardown code here. This method is called after the invocation of each test method in the class. 
[super tearDown]; 


- (void)testExample { 

// This is an example of a functional test case. 

// Use XCTAssert and related functions to verify your tests produce the correct results. 

} 

- (void)testPerformanceExample { 

// This is an example of a performance test case. 
[self measureBlock:^( 

// Put the code you want to measure the time of here. 

)); 

} 

kend 


下 面 对 这 些 代码 稍 作 解 释 。 
setUp 是 所 有 测试 用 例 运 行 之 前 要 执行 的 函数 ， 通 常用 来 做 一 些 初始 化 的 工作 。 
tearDown 是 所 有 用 例 执 行 完 后 执行 的 函数 。 


testExample 是 我 们 真正 要 执行 的 用 例 ， 我 们 的 测试 代码 应 该 写 在 这 里 。 


Qua 测试 用 例 接口 必须 以 test 开 头 ， 系 统 会 自动 识别 以 test 开 头 的 接口 是 测试 用 例 接口 。 


testPerformanceExample 是 性 能 测试 的 用 例 ， 它 的 作用 是 检验 测试 接口 的 运行 时 间 ， 写 在 measureBlock 里 的 代码 ， 系 统 会 在 开始 测试 后 自动 运行 10 次 ， 并 计算 每 次 的 运行 时 间 以 及 平均 时 间 ， 以 此 判 
断 这 个 接口 的 性 能 如 何 。 


5.4.2 ”接口 测试 


框架 加 入 被 测 工程 后 ， 就 可 以 尝试 写 一 些 测试 代码 了 。 通 常 把 代码 写 在 testExample 这 个 接口 里 即 可 。 


例如 ， 我 们 想 要 测试 这 个 接口 ， 确 认 当 前 tableview 有 1 个 session， 测 试 代码 如 下 : 


- (void)testExample { 


// This is an example of a functional test case. 

// Use XCTAssert and related functions to verify your tests produce the correct results. 
MasterViewController *master = [[MasterViewController alloc] init]; 

UITableView *table -[[UITableView alloc] init]; 
NSInteger temp- [master numberOfSectionsInTableView:table]; 
XCTAssert (temp == 1); 

} 


其 中 ，XCTAssert 是 框架 提供 的 断言 ， 用 来 判断 测试 的 结果 是 否 符合 某 一 个 预期 。 若 符合 预期 ， 则 测试 通过 ; ERAM, BUGUIXACNOTAMT CAAA. SANES L, 


XCTFail (formathttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16388/OEBPS/Text/...) 生成 一 个 失败 的 测试 ; 

XCTAssertNil(al, formathttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompresseq/16388/OEBPSVText/...) 为 空 判断 ，al 为 空 时 通过 ， 反 之 不 通过 ; 
XCTAssertNotNil(al, formathttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16388/OEBPS/Text/...) 不 为 空 判断 ，al 不 为 空 时 通过 ， 反 之 不 通过 ; 
XCTAssert (expression, formathttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16388/OEBPS/Text/...) 当 expression 求 值 为 True 时 通过 ; 
XCTAssertTrue (expression, formathttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16388/OEBPS/Text/...) 当 expression 求 值 为 True 时 通过 ; 
XCTAssertFalse (expression, formathttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressedq/16388/OEBPSVText/...) 当 expression 求 值 为 False 时 通过 ; 
XCTAssertEqualObjects (al, a2, formathttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressedq/16388/OEBPSVText/...) 判 断 相 等 ，[al isEqual:a2]4& 7 True! 
XCTAssertNotEqualObjects (al, a2, formathttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16388/OEBPS/Text/...) J]Bp^R ^F, [al isEqual:a2]4& X Fe 


测试 代码 写 好 后 ， 可 以 进行 单 用 例 执 行 ， 查 看 是 否 有 问题 。 执 行 方式 是 点 击 接口 左边 的 菱形 按键 ， 如 图 5-4 所 示 。 单 用 例 调 试 执行 ， 可 以 快速 验证 一 个 测试 用 例 是 否 写 有 问题 ， 能 提高 编写 用 例 的 效率 。 


p 
// This is an example of a functional test case. 
// Use XCTAssert and related functions to verify your tests produce the correct results. 
MasterViewController sxmaster = [[MasterViewController alloc] init]; 


UITableView table -[[UITableView alloc] init]; 
NSInteger temp- [master numberOfSectionsInTableView:table]; 
XCTAssert(temp -- 1); 


图 5-4 XCTest 单 元 测试 结果 验证 


如 果 用 例 没 有 问题 ， 测 试 结果 会 如 下 所 示 ， 它 统计 了 整体 用 例 哪些 通过 、 哪 些 失 败 、 测 试 运 行 时 间 是 多 长 等 信息 。 性 能 测试 的 接口 则 记录 了 更 多 信息 ， 如 每 次 执行 的 时 间 以 及 平均 时 间 。 
Test Suite 'Selected tests' started at 2016-12-04 18:31:12.552 

Test Suite 'XCTestDemo2Tests.XCTest' started at 2016-12-04 18:31:12.552 

Test Suite 'XCTestDemo2Tests' started at 2016-12-04 18:31:12.552 

Test Case '-[XCTestDemo2Tests testExample]' started. 

Test Case '-[XCTestDemo2Tests testExample]' passed (0.001 seconds). 

Test Suite 'XCTestDemo2Tests' passed at 2016-12-04 18:31:12.554. 

Executed 1 test, with 0 failures (0 unexpected) in 0.001 (0.002) seconds 

Test Suite 'XCTestDemo2Tests.XCTest' passed at 2016-12-04 18:31:12.555. 

Executed 1 test, with 0 failures (0 unexpected) in 0.001 (0.003) seconds 

Test Suite 'Selected tests' passed at 2016-12-04 18:31:12.555. 

Executed 1 test, with 0 failures (0 unexpected) in 0.001 (0.004) seconds 

Test session Log: 

/Users/ja/Library/Developer/Xcode/DerivedData/XCTestDemo2-hfrjodwnjljbtlbdxglpfjkn dtgm/Logs/Test/D4C2B162-81FF-4A1C-B5B4-CFD2C7D2F198/Session-XCTestDemo2Tests-2016-12-04 1831C 


单元 测试 编写 和 执行 的 过 程 大 致 如 此 。 另 外 ，Xcode 是 有 对 测试 用 例 作 导航 的 ， 当 用 例 较 多 时 ， 可 以 方便 管理 ， 需 要 执行 多 个 用 例 或 所 有 用 例 时 也 更 加 方便 ， 如 图 5-5 所 示 。 


Y [| |XCTestDemo2Tests 2 tests 
y Bi] XCTestDemo2Tests 
a testExample 


a test-xampiePerformance 
F| |XCTestDemo2UlTests 1 test 
v Bil XCTestDemo2UlTests 


图 5-5 XCTest 用 例 管理 界面 


接口 测试 的 难点 在 于 : 如 何 设计 用 例 ， 返 回 值 有 哪些 可 能 。 虽 然 针对 每 种 可 能 去 构造 场景 比较 费时 费力 ， 但 是 对 于 保障 接口 的 健壮 性 很 有 帮助 。 
5.4.3 “UI 测试 


相对 于 接口 测试 来 说 ，UI 测 试 更 加 直观 ， 它 是 从 模拟 用 户 操 作 上 去 实现 的 。 它 不 像 接口 测试 那样 难 入 手 ， 编 写 用 例 也 更 加 高 效 方便 。 应 该 说 ，XCTest 在 有 了 UI 的 测试 能 力 以 后 ， 才 真正 被 大 部 分 iOS 测 
试 人 员 所 接受 。 


Qum UI 测试 与 接口 测试 最 大 的 不 同 在 于 : UI 测 试 更 加 依赖 于 框架 所 提供 的 接口 和 功能 ， 所 有 模拟 用 户 操作 的 接口 、 所 有 结果 判断 的 接口 ， 都 依赖 于 测试 框架 。 


XCTest 的 UI 测 试 增 加 了 三 个 类 XCUIApplication、XCUIElement 和 XCUIEIlementQuery， 可 以 让 测试 人 员 很 方便 地 识别 控件 、 模 拟 用 户 操作 。 


b 


XCUIApplication 是 被 测试 程序 的 代理 ， 它 可 以 启动 应 用 程序 ， 开 始 测 试 。 对 于 每 个 测试 用 例 ， 它 都 会 新 启 一 个 进程 ， 重 新 做 初始 化 的 工作 ， 以 确保 每 个 用 例 开始 执行 前 ， 被 测试 程序 都 是 干净 的 。 
个 很 重要 ， 解 决 了 测试 人 员 清 理 环境 的 烦恼 ， 也 保证 了 每 个 测试 用 例 的 执行 是 独立 且 互 不 影响 的 。 每 个 用 例 开始 执行 前 ， 都 会 调用 它 一 次 : 


XCUIAPPlication *APP = [[XCUIAPPlication alloc] init]; 


XCUIElement 是 应 用 中 控件 的 代理 ， 每 个 控件 都 被 定义 成 一 个 UIElement， 并 且 定 义 了 它 可 能 模拟 哪些 用 户 操作 ， 是 我 们 编写 测试 用 例 的 核心 。 如 下 示例 代码 所 示 ， 模 拟 用 户 操作 由 两 部 分 组 成 : 一 个 
是 控件 ， 另 一 个 是 事件 。 其 中 ， 控 件 是 一 个 名 字 为 “Done” 的 Button， 事 件 是 点 击 。 每 个 模拟 用 户 的 动作 都 是 如 此 。 常 用 的 控件 和 事件 ， 都 可 以 在 XCUlElement 类 中 查 到 ]。 


XCUIElement *doneButton = masterNavigationBar.buttons [8"Done"]; 
[doneButton tap]; 


XCUIElementQuery 是 与 XCUIElement 相 辅 相 成 的 ， 页 面 中 的 某 个 控件 是 否 存 在 ， 都 是 通过 XCUIElementQuery 中 的 接口 去 判断 的 。 
了 解 了 这 些 接口 和 方法 后 ， 我 们 就 可 以 尝试 去 编写 一 些 UI 的 测试 用 例 。 


那么 问题 来 了 ， 怎 么 着 手 编 写 呢 ?其 实 ，U1I 测 试 提供 了 很 强大 的 用 例 录 制 功能 ,测试 人 员 只 要 在 被 测试 程序 中 手动 执行 一 次 用 例 ， 框 架 就 会 自动 生成 对 应 的 测试 代码 。 这 也 是 XCTest UI 测试 的 一 大 特 


ANNO 


具体 的 操作 方法 为 : 先 把 焦点 定 在 测试 接口 里 ， 然 后 点 击 左 下 方 的 红色 按钮 开始 录制 ， 就 这 么 简单 ， 如 图 5-6 所 示 。 


Y| |XCTestDemo2UlTests 
m XCTestDemo2UlTests.m 
=] Info.plist 


— (void)testExample { 
// Use recording to get started writing UI tests. 
// Use XCTAssert and related functions to verify your tests 


| |Products 


32 
Rn 
dá 
35 
36 
37 


图 5-6 XCTest UI 测试 录制 和 执行 


当 手 动 执行 完 用 例 之 后 ， 再 点 击 这 个 红色 按钮 结束 录制 。 录 制 的 代码 如 下 : 


XCUIAPPlication *APP = [[XCUIAPPlication alloc] init]; 

XCUIElement *masterNavigationBar = APP.navigationBars[G"Master"]; 

XCUIElement *editButton = masterNavigationBar.buttons [(80"Edit"]; 
[editButton tap]; 

XCUIElement *doneButton = masterNavigationBar.buttons [8"Done"]; 
[doneButton tap]; 

XCUIElement *addButton = masterNavigationBar.buttons [GQ"Add"]; 
[addButton tap]; 
[addButton tap]; 
[APP.tables/*GSTART MENU TOKENG*/.staticTexts[8"2016-12-04 09:39:16 40000"]/*[[".cells.staticTexts[8N"2016-12-04 09:39:16 40000N"]",".staticTexts[8N"2016-12-04 09:39:16 +0000\ 
APP.navigationBars [G8"Detail"].buttons[8"Master"] tap]; 
editButton tap]; 
doneButton tap]; 


这 里 解释 一 下 上 面 的 代码 执行 了 哪些 操作 。 

(1) 点 击 名 称 为 “Edit” 的 控件 ， 进 入 编辑 状态 ; 

(2) 点 击 名 称 为 “Done” 的 控件 ， 退 出 编辑 状态 ; 

(3) 点 击 名 称 为 “Add” 的 控件 ， 连 续 点 击 3 次 ,增加 3 个 tablecell; 
(4) 点 击 第 一 个 tablecell (可 以 staticText 属 性 查找 到 ) : 

(5) 点 击 名 称 为 “Master” 的 控件 ， 返 回 上 一 级 页 面 ; 

(6) 点 击 名 称 为 “Edit” 的 控件 ， 进 入 编辑 状态 ; 

(7) 点 击 名 称 为 “Done” 的 控件 ， 退 出 编辑 状态 。 


对 于 录制 生成 的 测试 代码 ， 通 党 是 可 以 直接 运行 的 ， 但 是 有 时 也 会 运行 失败 ， 失 败 的 原因 一 般 有 两 种 情况 。 一 种 是 无 法 找到 控件 ， 对 于 一 些 非 标准 控件 ，XCTest 还 是 会 经 常 找 不 到 ， 这 时 得 人 工 去 分 析 
如 何 获取 该 控件 ， 然 后 再 进行 修改 。 另 外 一 种 可 能 是 控件 名 的 编码 问题 。 对 于 中 文 名 称 的 控件 ， 框 架 会 将 其 中 的 中 文 转换 成 unicode 编 码 ， 但 是 其 中 大 小 写 会 有 问题 ， 这 部 分 需要 手工 去 修改 。 


由 上 面 的 代码 可 以 看 到 ， 其 实 最 大 的 问题 不 是 执行 不 起 来 ， 而 是 代码 的 健壮 性 和 有 效 性 的 问题 。 直 接 录 制 生成 的 代码 有 一 个 很 明显 的 问题 ， 即 没有 任何 的 结果 判断 ， 一 旦 出 现 异 常 或 者 环境 有 些 不 同 ， 


测试 就 无 法 通过 。 所 以 ， 对 于 录制 出 来 的 代码 ， 还 需要 进行 大 量 的 修改 ， 如 下 代码 所 示 : 


- (void)testExample { 

// Use recording to get started writing UI tests. 

// Use XCTAssert and related functions to verify your tests produce the correct results. 
XCUIAPPlication *APP = [[XCUIAPPlication alloc] init]; 
XCUIElement *editButton = APP.buttons[G"Edit"]; 
XCTAssertNotNil (editButton); 

editButton tap]; 
XCUIElement *doneButton = APP.buttons[G8"Done"]; 
XCTAssertNotNil (doneButton); 

[doneButton tap]; 
XCUIElement *addButton = APP.buttons [Q"Add"]; 
[addButton cab 

[addButton tap] 
XCU ZlementQuery *tablesQuery - APP.tables; 
XCTAssert (tablesQuery.cells.count -- 2); 


} 


同样 解释 一 下 上 面 的 代码 具体 做 了 哪些 事 : 

(1) 确认 存在 名 称 为 “Edit” 的 控件 。 如 果 存 在 ， 则 点 击 一 次 ; 否则 测试 失败 ; 

(2) 确认 存在 名 称 为 “Done” 的 控件 。 如 果 人 存在 ， 则 点 击 一 次 ; 否则 测试 失败 ; 
(3) 确认 存在 名 称 为 “Add” 的 控件 。 如 果 存 在 ， 则 点 击 两 次 ; 否则 测试 失败 ， 

(4) 确定 tablecell 的 数量 是 2， 否 则 测试 失败 。 


我 们 可 以 明显 地 看 到 区 别 : 模拟 每 项 人 工 操作 时 ， 都 会 判断 上 一 个 步骤 有 没有 得 到 预期 的 结果 ， 如 果 有 ， 则 继续 往 下 执行 ， 如 果 没 有 ， 则 结束 测试 。 这 样 ， 当 测试 中 断 时 ， 能 够 很 快速 地 定位 到 是 哪 一 
个 步骤 出 了 问题 。 这 项 工作 我 们 称 为 结果 判断 ， 结 果 判 断 是 自动 测试 中 很 重要 的 一 环 。 比 如 上 面 的 例子 ， 点 击 两 次 名 称 为 “Add ”的 控件 ， 点 击 之 后 的 预期 结果 是 什么 ”怎样 才 算 这 个 用 例 通 过 了 ”我 们 直 
接 在 用 例 中 对 这 个 预期 做 判断 即 可 ， 而 不 再 需要 人 工 的 参与 。 


在 测试 编码 过 程 中 ， 还 有 一 点 需要 经 常 确认 ， 就 是 当前 有 没有 系统 的 各 种 弹 框 。 如 果 有 ， 则 要 先 将 它 关 闭 ， 表 继续 执行 测试 ， 否 则 测试 时 间 长 时 定 会 失败 。 
上 面 提 到 录制 生成 的 脚本 中 有 些 控件 会 找 不 到 ， 而 生成 一 些 无 法 运行 的 代码 。 这 时 应 该 人 工 去 查找 这 些 控 件 ， 重 新 编码 。 那 怎么 去 查找 这 些 控件 呢 ? 
通常 情况 下 ， 可 以 通过 哪些 属性 去 找到 我 们 想 要 点 击 的 控件 ? 


首先 ， 最 常用 也 最 方便 的 就 是 “名 字 ” 属 性， 有 定义 这 个 属性 的 控件 ， 系 统 都 能 将 它 定 位 出 来 ， 控 件 中 的 title、label、value 这 些 属性 都 是 有 控件 的 名 字 标 识 。 像 下 面 提 到 的 这 些 都 是 通过 名 字 去 查找 
的 : 


XCUIElemen 
XCUIElemen 


*doneButton = masterNavigationBar.buttons [8"Done"]; 
*addButton = masterNavigationBar.buttons [8"Add"]; 


ct ct 


其 次 是 路 径 和 索引 ， 就 是 从 Dom 树 中 一 级 一 级 地 往 下 查找 ， 到 叶子 结 点 时 ， 再 加 入 索引 去 定位 ， 示 例 代码 如 下 : 


[[APP.windows.otherElements.otherElements.navigationBars.buttons elementBound-ByIndex: (1)] tap]; 


还 有 一 种 常用 的 方式 是 通过 控件 类 型 ， 当 某 种 控件 类 型 在 当前 的 UI 界面 中 唯一 时 ， 就 可 以 这 样 去 定位 ， 示 例 代码 如 下 : 


[ [APP childrenMatchingType:XCUIElementTypeAlert].element tap]; 


通过 以 上 这 三 种 方式 ， 所 有 的 控件 都 可 以 得 到 ， 以 通过 名 字 查 找 控件 为 主 ， 其 他 两 种 方法 作为 辅助， 可 以 高 效 完成 测试 编码 。 但 是 问题 来 了 ， 面 对 UI 界面 ， 我 们 怎么 知道 这 些 控 件 的 属性 呢 ? 下面 介 绍 
两 种 常用 的 方法 来 帮 有 我 们 解读 控件 。 


一 种 是 通过 接口 打印 当前 界面 的 Dom 树 。 具 体操 作为 : 当 测 试 执行 到 某 个 需要 分 析 的 界面 时 ， 设 置 断 点 ， 然 后 通过 po App 接 口 打印 Dom 树 。Dom 树 记录 了 当前 页 面 的 控件 结构 ， 可 以 通过 这 种 方式 来 


查找 一 个 控件 的 具体 路 径 ， 或 者 它 有 什么 具体 的 属性 ， 然 后 通过 这 些 路 径 或 属性 来 定位 这 个 控件 。 这 种 方法 效率 一 般 ， 但 是 能 够 解决 几乎 所 有 的 问题 。 结 果 大 致 如 下 : 
(lldb) po APP 
Attributes: APPlication 0x618000165580: {{0.0, 0.0}, (414.0, 736.0)), label: 'XCTestDemo2' 
Element subtree: —APPlication 0x618000165580: (1(0.0, 0.0), (414.0, 736.0)), label: 'XCTestDemo2' 


Window 0x618000161140: Main Window, {{0.0, 0.0}, (414.0, 736. 03] 
ther 0x618000163180: traits: 8589934592, ((0.0, 0.0], (414.0, 736.0]] 
ther 0x618000162c40: traits: 8589934592, [[0.0, 0.0}, (414.0, 736.0]] 
avigationBar 0x618000162400: traits: 35192962023424, ((0.0, 20.0}, (414.0, 44.0]], identifier: 'Master' 
Button 0x618000162640: traits: 8589934593, ((20.0, 26.7), (42.0, 30.0]], label: 'Done' 
taticText 0x618000165700: traits: 8590000192, ((179.0, 28.0], (56.0, 27.0}}, label: 'Master' 
utton 0x618000165640: traits: 8589934593, ((366.0, 26.0], (39.0, 30.0}}, label: 'Aad' 


O 

O 

N 

B 

S 

B 

Other 0x618000165940: traits: 8589934592, {{0.0, 0.0}, {414.0, 736.0}} 

Other 0x6180001657c0: traits: 8589934592, {{0.0, 0.0}, {414.0, 736.0}} 

Table 0x618000165b80: traits: 8589934592, ((0.0, 0.0), (414.0, 736.0)], label: "Empty list' 
Window 0x618000166000: {{0.0, 0.0}, (414.0, 736.0]] 
Other 0x6180001663c0: traits: 8589934592, {{0.0, 0.0}, (414.0, 736.0]] 
Window 0x618000166540: {{0.0, 0.0}, (414.0, 736.0]] 
S 
O 
O 
O 
O 
O 
O 
P 
Q 
O 
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tatusBar 0x618000166840: {{0.0, 0. 0}, {414.0, 20.0}} 

ther 0x618000166900: {{0.0, 0.0}, {414.0, 20.0}} 

ther 0x618000163540: {{0.0, 0.0}, {414.0, 20.0}} 

ther 0x618000162280: traits: 8388608, {{6.0, 0.0}, {39.0, 20.0}} 

ther 0x618000164c80: traits: 8388608, {{50.0, 0.0}, {13.0, 20.0}}, label: '3 of 3 Wi-Fi bars', value: SSID 
ther 0x618000165040: traits: 8389120, {{186.0, 0.0}, {47.0, 20.0}}, label: '7:51 PM' 

ther 0x618000163000: traits: 8388608, {{384.0, 0.0}, (25.0, 20.0}}, label: '-100$ battery power' 

ath to element: —APPlication 0x618000165580: {{0.0, 0.0}, (414.0, 736.0}}, label: 'XCTestDemo2' 

uery chain: —Find: Target APPlication 0x6100000aedc0 


{ 
PPlication 0x618000165580: ((0.0, 0.0}, (414.0, 736.0]], label: 'XCTestDemco2'] 


第 二 种 方 ; 过 Xcode 提供 的 开发 者 工具 ， 入 口 是 Xcode 一 Open Developer Tool 一 Accessibility Inspector。 通 过 Accessibility Inspector 工 具 ， 可 以 查看 某 个 控件 的 具体 信息 ， 能 看 到 它 的 大 部 分 
属性 ， 但 是 没有 坐标 属性 ， 也 不 能 查看 路 径 。 这 种 方法 的 优点 是 效率 高 ， 缺 点 是 一 些 极端 的 问题 还 是 没有 办 法 解决 。 效 果 大 致 如 图 5-7 所 示 。 


Accessibility Inspector 


ll Simulator - iOS 10.1 eo C) /A t8 


Quicklook 
2016-12-04 11:48:24 +0000 & 2 


Basic 
Label 2016-12-04 11:48:24 +00... 
vValue «empty string» 
Traits Static Text 
Actions 
Activate | Perform | 
Delete | Perform - 
Element 
Class «nil» 
Address «nil» 
Controller «nil- 
Hierarchy 


9 2016-12-04 11:48:24 «0000 Static Text (Static Text) 


X 5pace toggles inspection pointer 


图 5-7  XCTest-Accessibility Inspector 
编写 用 例 的 方法 了 解 了 ， 但 编写 好 后 应 该 怎么 执行 呢 ? 


可 以 和 接口 测试 一 样 点 击 用 例 左边 的 按键 去 执行 测试 ， 但 也 有 其 他 方法 。 通 常 我 们 在 执行 用 例 时 ， 都 是 通过 命令 行 去 实现 的 ， 用 于 减少 人 工 的 干预 ， 但 一 定 要 在 iOS 9.1 以 上 的 系统 才 支 持 输出 


derivedDataPath， 支 持 test 命 令 。 方 法 如 下 : 


Xcodebuild -workspace ./demo.xcworkspace -scheme demo -sdkiphonesimulator -destination 'platform-iOSSimulator,name-iPhone 6s,OS=9.1' -derivedDataPath './output' test 


需要 指出 的 是 ，UI 测 试 的 运行 方式 比较 特别 ， 有 两 个 进程 同时 运行 ， 一 个 是 测试 进程 ， 另 一 个 是 被 测试 进程 。 测 试 进程 也 就 是 我 们 上 面 提 到 的 XCUIAPPlication ， 它 接管 了 整个 测试 过 程 。 
说 了 这 么 多 测试 用 例 的 编写 和 执行 ， 下 面 来 看 一 下 UI 测 试 的 结果 记录 。 


UI 测试 对 于 结果 和 过 程 的 记录 更 加 详细 ， 它 记录 了 每 个 模拟 用 户 操作 的 过 程 ， 以 Log 及 屏幕 截图 的 方式 分 别 记 录 ， 这 让 测试 人 员 可 以 在 出 问题 的 时 候 快 速 定位 到 原因 ， 将 问题 解决 。Log 的 记录 形式 大 致 
如 图 5-8 所 示 。 


Tap "2816-12-84 89:39:16 -8888" StaticText 
Wait for app to idle 
Find the "2016-12-04 09:39:16 +0000" StaticText 

Snapshot accessibility hierarchy for com.tencent.mttliteTests.XCTestDemo2 

Find: Descendants matching type Table 

Find: Descendants matching type StaticText 

Find: Elements matching predicate '"280156-12-04 89:39:16 +0000" IN identifiers' 

Wait for app to idle 

Find the "2815-12-04 89:39:15 +0000" StaticText (retry 1) 
Snapshot accessibility hierarchy for com.tencent.mttliteTests.XCTestDemo2 
Find: Descendants matching type Table 
Find: Descendants matching type StaticText 
Find: Elements matching predicate '"2015-12-84 09:39:15 +0000" IN identifiers' 
Wait for app to idle 

Find the "2816-12-84 09:39:16 +0000" StaticText (retry 2) 
Snapshot accessibility hierarchy for com.tencent.mttliteTests.XCTestDemo2 
Find: Descendants matching type Table 
Find: Descendants matching type StaticText 
Find: Elements matching predicate '"2816-12-84 89:39:16 +0000" IN identifiers' 
Wait for app to idle 

Assertion Failure: XCTestDemo2UITests.m:58: UI Testing Failure - No matches found 1 


图 5-8 XCTest 测 斌 结果 记录 


544 ” 优 缺 点 分 析 


XCTest 提 供 了 很 多 强大 的 接口 和 工具 ， 功 能 很 丰富 ， 使 用 方便 ， 优 点 很 多 。 但 是 也 有 一 些 局 限 性 ， 比 如 目前 的 版 本 仍 不 太 稳 定 ， 会 出 现 闪 退 ; 无 法 单独 在 手机 上 进行 测试 ， 还 需要 苹果 电脑 和 开发 者 工 
具 。 但 总 的 来 说 ， 这 是 一 个 很 不 错 的 框架 ， 为 我 们 的 测试 工作 提供 了 很 多 便利 。 下 面 我 们 对 XCTest 的 优 缺 点 进行 了 总 结 ， 如 表 5-3 所 示 。 


45-9 XCTest 的 优 缺点 对 比 


fo m 缺 点 
1) 功能 丰富 ， 同 时 具备 单元 测试 和 UI 测试 的 能 力 ; D) 需要 源 公 ; 
2) 具有 录制 回放 功能 ， 能 够 快速 上 手 ; 2) 无 法 脱 机 跑 ， meZ Mac Dias ; 
3 ) 配置 方便 快速 ; 3) 框架 本 号 不 是 很 稳定 ,录制 时 可 能 会 引起 Xcode 
4) 测试 运行 速度 很 快 ; 的 办 退 


5 ) 测试 代码 可 调试 


5.5 ”KIF 自 动 化 框架 介绍 


KIF 是 一 个 开源 的 专 为 OS 设计 的 移动 应 用 测试 框架 ,使 用 Objective-C 语 言 开发 ， 能 和 应 用 的 代码 工程 完美 结合 。 它 是 使 用 私有 API 对 UI 进行 操作 的 自动 化 测试 框架 ， 这 种 类 型 的 测试 框架 已 大 行 其 道 ， 
非常 受 欢 迎 ，KIF 就 是 其 中 出 色 的 一 个 。 很 多 大 公司 如 Google 都 在 使 用 这 个 测试 框架 。 


KIF 的 本 质 还 是 XCTest， 它 继承 了 XCTest， 在 其 基础 上 增加 了 UI 测试 的 能 力 ， 提 供 了 非常 丰富 的 UI 测试 的 接口 。 它 继承 了 XCTest， 所 有 KIF 具 有 XCTest 的 所 有 能 力 ， 而 且 很 多 特点 都 是 一 样 的 ， 比 如 单 
用 例 运行 调试 。 


Qum KIF 并 没有 继承 XCTest 的 UI 测试 能 力 ，KIF 还 是 单 进程 管理 的 ， 这 对 于 开发 者 来 说 更 好 理解 和 接受 。 


Demo 的 下 载 地 址 : http://tmq.qq.com/how we test QQbrowser iOSVKIFDemo.php。 


5.5.1 HERE 


由 于 KIF 是 第 三 方 开 发 的 测试 框架 ， 所 以 集成 过 程 会 比较 麻烦 。 由 于 我 们 能 查 到 的 大 部 分 资料 都 没有 很 详细 地 介绍 这 一 部 分 ， 导 致 想 介入 的 新 人 上 手 很 难 ， 所 以 我 们 会 详细 介绍 怎么 快速 介入 这 个 框架 。 
首先 我 们 假设 已 经 有 一 个 被 测试 工程 。 


步骤 1: 下 载 KIF 框 架 工 程 文件 后 ， 把 KIF.xcodeproj 文 件 拉 进 被 测试 工程 里 ， 如 图 5-9 所 示 。 


v 图 KIFDemo 
P |KIFDemo 
KIFDemolTests 


| KlFDemoUlTests 


Products 


KIF.xcodeproj 


图 5-9 ”KIF 集 成 


步骤 2: 新 建 一 个 测试 target， 单 击 “Add Target" , 选择 iOS 一 Test 一 iOS Unit Testing Bundle。 这 里 必须 是 Unit Testing Bundle， 如 图 5-10 所 示 。 前 面 说 过 KIF 是 继承 XCTest 的 ， 但 没有 继承 另 一 
个 Ul Testing。 如 果 这 里 选择 UI Testing， 那 么 实现 的 每 个 用 例 执行 都 会 报错 。 新 建 之 后 ， 删 除 新 建 Target 对 应 生成 的 文件 。 
Choose a template for your new target: 
watchOS tOS  macOS Cross-platform Filter 


Application Extension 


Intents UI Notification Notification Photo Editing Share Extension 
Extension Content Service Extension Extension 


© Q; NS 
Shared Links Spotlight Index Sticker Pack Today Extension 


Extension Extension Extension 


Test 


Co C9 


iOS UI Testing iOS Unit Testing 
Bundle Bundle 


Application 


Cancel Previous 


图 5-10 ”KIF 集 成 新 建 单 元 测试 


步骤 3: 对 于 这 个 测试 target， 在 Build Phases 里 的 Target Depedencies 这 一 栏 ， 把 KIF 和 被 测试 Demo 加 上 ， 在 Link Binary With Libraries 中 把 KIF 的 静态 库 libKIF.a 以 及 系统 的 
QuartzCore.framework 与 CoreGraphics.framework 加 进来 ， 如 图 5-11 所 示 。 


General Resource Tags Info Build Settings Build Phases 
PROJECT m er 
KIFDemo 


v Target Dependencies (2 items) 


TARGETS 
À KIFDemo KIF (KIF) 
A KIFDemo (KIFDemo) 


十 


> Compile Sources (1 item) 


Y Link Binary With Libraries (3 items) 
Name 


fi QuartzCore.framework 
fi CoreGraphics.framework 
fg? libKIF.a 


十 一 Drag to reorder frameworks 


图 5-11 KIF 添 加 关联 库 
步骤 4: 关于 测试 这 个 target， 在 Build settings 中 有 以 下 选项 值 需要 设置 。 
: Other Linker Flags 选 项 加 两 个 值 ;: ObjC/R -framework IOKit; 
- 将 Bundle Loadert 设 置 为 $ (BUILT. PRODUCTS DIR) /YourAPP.APP/YourAPP; 
- 将 WrAPPer Extension 设 置 为 XCTest。 


步骤 5: 设置 Edit Scheme 中 的 test 选 项 ， 为 它 添加 你 要 执行 的 测试 ， 如 图 5-12 所 示 。 


À KIFDemo ) 页 iPhone 7 Plus 


Arguments Diagnostics 
2 targets 


Build Configuration | Debug 


Code Coverage / | Gather coverage data 


| 加 
Profile Debugger Debug executable 


Release Debug Process As * Me (janny) 


p» Analyze root 
» Debug 


Archive 


Release : A 
Tests Test Application Data Test Location 


> [|KlFDemoTests None 4 None 


O Filter 


Duplicate Scheme Manage Schemes... 


图 5-12 ”KIF 增 加 测试 选项 


步骤 6: 新 建 一 个 继承 KIFTestCase 的 测试 类 ， 如 图 5-13 所 示 ， 用 于 编写 测试 用 例 ， 要 注意 是 新 建 Unit Testing 的 类 。 到 这 里 ， 框 架 集成 就 完成 了 。 


Choose options for your new file: 


Class: |KIFTests 


Subclass of: | KIFTestCase 


Language: | Objective-C 


Cancel Previous 


图 5-13 ”KIF 新 建 测试 用 例 集 


5.5.2 ”用 例 编写 


说 明 一 下 ， 因 为 KIF 的 UI 控件 操作 和 获取 都 是 封装 在 一 起 的 ， 每 个 接口 里 都 包含 以 什么 属性 获取 控件 及 对 这 个 控件 执行 什么 操作 两 个 部 分 ， 所 以 没有 获取 控件 这 个 部 分 的 说 明 。 也 因为 这 个 原因 ，KIF 的 
操作 接口 会 非常 多 。KIF 里 还 定义 了 一 个 测试 对 象 tester，KIF 的 所 有 测试 接口 都 可 以 直接 由 它 调用 去 执行 ， 而 不 用 另外 再 定义 。 比 如 : 


(1) 点 击 某 个 位 置 。 


代码 如 下 : 


[tester tapScreenAtPoint: (CGPoint)screenPoint]; 


(2) 点 击 以 label 命 名 的 控件 。 


代码 如 下 : 


[tester tapViewWithAccessibilityLabel: (NSString *)label]; 


(3) 长 按 以 label 命 名 的 控件 ， 时 长 为 duration。 


代码 如 下 : 


[tester longPressViewWithAccessibilityLabel: (NSString*)label duration: (NSTimeInterval)duration]; 


(4) 在 一 个 控件 里 输入 一 段 字 符 。 


代码 如 下 : 


[tester enterText: (NSString*)text intoViewWithAccessibilityLabel: (NSString *)1label]; 


(5) 滑动 某 个 控件 。 


代码 如 下 : 


[tester swipeViewWithAccessibilityLabel: (NSString*)label inDirection: (KIFSwipeDirection)direction]; 


KIF 的 接口 很 丰富 ， 有 基于 位 置 的 ， 有 基于 其 他 属性 的 ， 所 有 这 些 接口 都 能 在 KIF 的 源码 里 看 到 。 下 面 我 们 来 具体 实践 怎么 从 零 开 始 编 写 用 例 。 


首先 ， 基 于 KIFTestCase 新 建 测试 类 。 虽 然 它 生成 的 内 容 与 XCTest 相 似 ， 但 事实 上 ， 由 于 KIF 做 了 封装 ， 原 来 用 来 做 初始 化 的 setUp () 及 tearDown () 都 不 再 需要 了 ， 所 以 KIF 封 装 了 几 个 更 好 用 的 接 
口 ， 下 面 将 一 一 进行 介绍 。 


(void) beforeAll。 在 本 类 中 第 一 个 test case 执 行 前 执行 一 次 ， 用 于 执行 当前 类 中 各 个 测试 函数 的 公共 操作 。 


全 注意 因为 不 能 保证 这 个 方法 与 test case 是 同一 个 类 实例 ， 所 以 不 能 用 来 设置 实例 变量 的 值 ， 但 是 可 以 设置 静态 变量 。 


(void) befoteEach。 在 每 个 test case 执 行 前 执行 一 次 ， 用 于 执行 各 个 函数 需要 的 测试 环境 。 因 为 这 个 方法 与 test case 是 同一 个 类 实例 ， 所 以 可 以 用 来 设置 实例 变量 。 
(void) aftetEach。 在 每 个 test case 执 行 后 执行 一 次 ， 用 来 将 App 恢 复 至 test case 之 前 的 状态 ， 可 以 包含 一 些 条 件 判 断 逻 辑 ， 从 失败 的 test case 中 恢复 ， 以 确保 不 影响 之 后 的 测试 。 
(void) afterAll。 执 行 完 测试 类 的 最 后 一 个 test case 后 执行 一 次 ， 一 般 用 于 将 App 恢 复 至 测试 的 初始 状态 。 


比如 下 面 的 接口 beforeEach 和 afterEach 会 在 testKIF001 和 testKIF002 执 行 的 前 后 分 别 执行 一 次 


(void)beforeEach 


tester tapViewWithAccessibilityLabel:Q"TAPPing"]; 


(void) testKIF001 


tester tapViewWithAccessibilityLabel:G"Test 1"]; 
tester waitForViewWithAccessibilityLabel:Q"Success"]; 


(void) testKIF002 


tester tapViewWithAccessibilityLabel:G"Test 2"]; 
tester waitForViewWithAccessibilityLabel:Q"Success"]; 


{ 
[ 
} 
{ 
[ 
[ 
} 
{ 
[ 
[ 
} 
- (void)afterEach 

{ 

[tester tapViewWithAccessibilityLabel:Q@"Return"]; 
} 


从 以 上 代码 中 可 以 看 到 ， 我 们 使 用 了 这 两 个 接口 tapViewWithAccessibilityLabel 及 waitForViewWithAccessibilityLabel。 下 面 以 这 两 个 接口 来 展开 介绍 KIF 在 编码 时 应 该 注意 的 点 。 


首先 来 看 tapViewWithAccessibilityLabel。 这 个 接口 应 该 是 KIF 整 个 框架 中 使 用 频率 最 高 的 接口 ， 正 如 其 字面 意思 ， 它 是 用 来 模拟 点 击 当 前 视图 中 指定 标签 控件 的 。 其 中 ，Accessibility 的 意思 是 “可 见 
的 ”， 这 个 可 见 的 意思 不 是 对 人 眼 可 见 ， 而 是 对 程序 可 见 。 这 个 是 否 可 见 ， 是 需要 在 被 测试 程序 里 设置 的 。 比 如 当前 被 测试 工程 中 的 一 个 界面 是 “room” ， 它 里 面 有 一 个 tableView 需 要 进行 设置 ， 它 的 
controller 文 件 是 roomViewController.m， 那 么 需要 在 roomViewController.m 文 件 里 进行 如 下 设置 : 


[self.tableView setAccessibilityLabel:Q"room"]; 


[self.tableView setlIsAccessibilityElement:YES]; 


其 中 setAccessibilityLabe| 是 设置 这 个 tableView 的 名 字 标 签 ， 而 另外 一 个 setlsAccessi-bilityElement 是 设置 它 可 不 可 见 。 通 过 这 样 的 设置 ，tableView 就 可 以 通过 tapViewWith-AccessibilityLabel 来 访 
问 了 。 例 如 : 


[tester tapRowInTableViewWithAccessibilityLabel:@"room" 
atIndexPath: [NSIndexPath indexPathForRow:index inSection:0]]; 


当然 ， 如 果 不 想 通过 代码 去 设置 也 是 可 以 的 。Xcode 提 供 了 更 加 简便 的 方法 去 设置 所 有 的 控件 。 首 先 打 开工 程 里 想 要 设置 的 Main.stroryboard 文 件 ， 再 在 左 侧 的 导航 栏 选 择 要 设置 的 控件 ， 如 图 5-14 所 


人 小。 


: E Master Scene 


v Table View 


v =] Cell 
> | j|Content View 


< Master 
NT First Responder 


Exit 


Show Detail segue "showDetail" t... 


> [S Navigation Controller Scene 


图 5-14 选择 编辑 的 控件 


接着 打开 最 右边 的 工具 栏 ， 如 图 5-15 所 示 ， 选 择 第 三 个 图 标 。 


Identity 
User Defined Runtime Attributes 


Key Path Type 


图 5-15 ”进入 XCode 工 具 栏 


然后 将 Accessibility 中 的 Enabled 勾 选 上 ， 最 后 在 Label 中 写 上 名 字 标 签 ， 如 图 5-16 所 示 。 操 作 完 成 。 


\ccessibility 
Accessibility (V) Enabled 
Label room 


Hint | Hint 


Identifier | Identifier 


Traits | | Button ' | Link 
| | Image ' | Selected 
| Static Text 
' | Search Field 
" | Plays Sound 
.| Keyboard Key 
| | Summary Element 
V) User Interaction Enabled 
' | Updates Frequently 
' ) Starts Media Session 
~ ) Adjustable 
' | Allows Direct Interaction 
' | Causes Page Turn 
.| Header 


图 5-16 2&4 Accessibility Zt 7j] 


这 样 的 设置 效果 和 代码 中 的 设置 效果 是 一 样 的 。 可 以 选择 自己 更 加 习惯 的 一 种 方式 。 


RS, 


接 下 来 介绍 另外 一 个 重要 的 接口 waitForViewWithAccessibilityLabel。 


这 个 接口 的 意思 


cester 


LOSLer 


LapViewWithAccessibilityLabel:Q"pagel"]; 


waitForViewWithAccessibilityLab 


=O 


:Q"pagel "]; 


~ r3 rr 一 


cester 


Les 


ter waitForViewWithAccessibilityLabel:Q" 


tapViewWithAccessibilityLabel: 


待 某 个 特定 的 控件 出 现 。 它 的 主要 作用 是 检查 的 预期 结果 ， 如 下 代码 所 示 : 


waitForViewWithAccessibilityLabel 的 作用 与 那些 断言 的 作用 一 样 ， 用 于 结果 判断 。 标 准 写法 与 上 面 的 类 似 。 我 们 希望 做 到 的 是 ， 模 拟 每 个 用 户 操作 之 前 ， 都 要 先 确 认 当 前 的 界面 是 否 是 我 们 所 预期 
否则 ， 测 试 失败 。 


waitForViewWithAccessibilityLabel 这 个 接口 有 预 设 


5.5.3 ” 优 缺 点 分 析 


KIF 是 应 用 最 广泛 的 第 三 方 框架 ， 它 提供 了 很 多 好 用 的 Ul， 
tapViewWithAccessibilityLabel 一 看 接口 名 字 就 能 知道 它 


缺点 进行 了 对 比 。 


5.6 


本 章 主要 介绍 了 自动 化 测试 的 基本 概念 ， 
怎样 灵活 应 用 这 些 框 


表 5-4 KIF 优 缺点 对 比 


优 nm 


1) 继承 自 XCTest，UI 测 试 可 以 与 白 盒 测 试 相 结合 ; 
2 ) 适合 做 持续 集成 ; 

3 ) 测试 接口 和 方法 很 丰富 ; 

4) 开源 ; 

5) 支持 1OS 5.1 以 后 的 所 有 系统 ; 
6 ) 


单 用 例 调试 ， 编 码 调试 轻松 愉快 


小 结 


第 6 章 


6.1 


第 5 章 介 绍 了 自动 化 测试 的 一 些 常 用 工具 和 使 用 方法 ， 本 章 着 重 讲解 QQ 浏览 器 (iPhone) 的 自动 化 测试 二 次 开发 过 程 ， 基 于 Xcode 自 有 测试 框架 XCTest 和 和 谷歌 的 EarlGrey 的 二 次 开发 ， 希 望 


以 及 iOS 平 台 上 最 常用 的 两 个 框架 XCTest 和 KIF。 若 想 直 接应 用 现 有 工 
架 ， 使 测试 过 程 事半功倍 。 


iOS 测 试 框架 二 次 开发 


引言 


框架 二 次 开发 的 同行 提供 借鉴 思路 。 


6.1.1 二 次 开发 忌 体 架 构 
一 个 好 用 的 自动 化 框架 ， 对 自动 化 的 实施 至 关 重 要 。 在 选取 框架 的 时 候 必 须 以 需求 为 基本 准则 ， 在 能 


面 来 设计 所 需 的 自动 化 测试 框架 。 


6.1.2 ”整体 部 署 图 


服务 器 编译 代码 ， 调 用 终端 执行 BVT 脚 本 。 当 终端 = 
试 人 员 ， 测 试 人 员 确 认 日 志 信息 


t3. 


好 用 的 自动 化 测试 应 该 是 部 署 


简单 、 运 行 稳定 


同时 又 继承 自 XCTest， 拥 有 接口 测试 能 力 ， 而 且 KIF 有 一 个 很 大 的 优点 就 是 
是 做 什么 的 。 但 是 与 XCTest UI Testing 对 比 ，KIF 不 能 进行 脚本 录制 ， 而 且 作 为 第 三 方 的 框 


行 iOS 平 台 自 动 化 测试 实践 ， 可 以 多 多 尝试 这 两 个 框架 


实现 这 些 需 求 的 基础 上 ， 再 参考 这 些 标准 ， 即 好 用 、 稳 定 、 有 效 、 


数据 自动 上 报 。QQ 浏 览 器 (iPhone) 自动 化 部 署 如 图 6-1 所 示 。 


等 待 的 时 间 ， 为 10 秒 钟 ， 如 果 10 秒 之 后 还 没有 出 现 预期 的 控件 ， 那 么 测试 失败 。 


它 的 接口 可 读 性 很 强 ， 最 顶层 的 接口 如 
架 ， 更 新 速度 没有 原生 框架 的 速度 快 。 表 5-4 对 KIF 的 优 


需要 被 测试 工程 源码 ; 

对 目 定 义 的 控件 文 持 不 好 ; 
UIWebView 的 状态 不 可 访问 ; 
不 能 录制 脚本 ; 


1) 
2) 
3) 
4) 
5 ) 框架 集成 比较 麻烦 


。 第 6 章 将 从 项 目 实践 中 去 介绍 


能 给 对 测试 


快捷 、 可 推广 、 可 移植 这 几 个 方 


从 图 6-1 中 可 以 看 出 ，QQ 浏 览 器 (iPhone) 自动 化 采用 的 是 分 布 式 部 署 方 式 ， 这 样 可 以 快速 多 终端 同时 执行 脚本 任务 。 首 先是 RDM 系 统 构建 测试 包 ， 触 帮 MAC 监 控 服务 器 获取 执行 代码 。 其 次 是 MAC 


丸 行 完 脚本 后 ， 自 动 上 传 日 志 到 日 志 服务 器 ， 服 务 器 


等待 多 终端 上 传 日 志 完 毕 后 ， 开 始 分 析 日 志 、 


， 如 果 是 Bug， 则 直接 提交 Bug 到 TAPD (腾讯 MIGBug 管 理 系统 ) 系统 ， 开 发 人 员 修 改 gug， 测 试验 证 ， 关 闭 Bug。 如 果 是 需求 变动 ， 或 者 脚本 错误 ， 则 修改 脚本 ， 提 交代 


整合 日 志 报告 ， 


并 保存 数据 到 数据 库 。 报 告 邮 件 推送 测 
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5 C3 
提交 Bug| 系 统 TAPD -—- 


um 触发 |BVT 任 务 日 志 | 服 务 众 测试 验证 


-- me 


ff iPhone 执行 mm 
Apt ie ed 开发 人 员 修 改 Bug 


— 


图 6-1 自动 化 部 署 图 
6.1.3 ”整体 架构 图 


目前 市 面 上 现 有 的 自动 化 框架 都 不 能 满足 我 们 以 上 的 需求 ， 所 以 在 现 有 的 一 些 基础 之 上 ， 设 计 出 了 适合 自己 项 目的 自动 化 测试 框架 。 整 体 框架 结构 如 图 6-2 所 示 。 


应 用 层 


自动 化 脚本 。 ”配置 文件 
脚本 分 配 资源 调度 


TIE EE 


图 6-2 ”自动 化 测试 框架 设计 图 


由 图 6-2 可 知 ， 框 架 总 体 分 为 三 层 : 底层 驱动 城 、 中 间 层 和 应 用 层 。 底 层 驱 动 层 主要 是 底层 对 XCTest 等 接口 驱动 测试 封装 。 中 间 层 主要 是 提供 给 脚本 使 用 的 接口 ， 截 图 处 理 ， 日 志 处 理 。 应 用 层 主 要 是 
编写 的 脚本 ， 脚 本 调度 ， 配 置 文件 ， 以 及 日 志 分 析 系 统 ， 下 面 将 详细 分 析 该 框架 。 


6.1.4 ”架构 分 析 


底层 驱动 层 分 为 以 下 几 个 模块 。 


- XCTEST 接 口 封装 : 该 框架 是 革 果 公司 自己 开发 的 用 于 和 Xcode 结合 使 用 的 一 个 底层 架构 ， 我 们 才 用 这 个 XCTest 生 成 执行 Target， 用 于 包装 自动 化 测试 载体 。 


` 消息 处 理 : 主要 用 于 测试 框架 和 被 测试 App 之 间 的 通信 交互 。 
. 驱动 模块 : 主要 提供 UI 遍 历 、UI 定 位 、 手 势 执行 等 功能 ， 采 用 EarlGrey 这 个 框架 二 次 开发 而 成 。 
. 系统 资源 模块 : 这 个 模块 主要 获取 测试 底层 信息 ， 以 及 被 测试 App 的 性 能 数据 、 内 存 、CPU、 网 络 包 数据 等 信息 。 
中 间 层 分 为 以 下 几 个 模块 。 
控件 调用 封装 : 主要 对 控件 进行 整体 包装 ， 将 控件 获取 的 类 型 、 属 性 、 手 势 封装 在 一 起 ， 方 便 应 用 层 接 口 调用 。 
` 脚本 驱动 : 主要 提供 脚本 执行 的 中 间 层 调度 方式 ， 包 括 控 件 判断 、 定 义 、 执 行 等 功能 。 
. 截图 模块 : 主要 在 脚本 出 错 的 时 候 ， 或 者 需要 强制 截图 提供 上 日志 分 析 的 时 候 ， 截 取 当 前 屏幕 的 截图 信息 。 
. 日 志 模块 : 主要 封装 定义 日 志 层 级 ， 输 出 日 志 时 机 、 日 志 驱 动 、 日 志 输 出 、 日 志保 存 。 
应 用 层 分 为 以 下 几 个 模块 。 
自动 化 脚本 : 自动 化 主要 的 呈现 载体 形式 ， 最 上 层次 的 应 用 。 
. 配置 文件 : 配置 Xcode 和 框架 形式 ， 主 要 为 编译 方式 。 
- 脚本 分 配 资源 调度 : 执行 脚本 的 方式 ， 主 要 提供 持续 集成 使 用 。 持 续集 成 采用 的 是 Jenkins 框 架 。 
. 日 志 分 析 系 统 : 主要 用 于 分 析 上 日志 信息 、 生 成 HTML 可 读 的 展示 形式 、 上 传 服务 器 、 邮 件 提 醒 等 功能 。 


以 上 就 是 整体 框架 的 架构 介绍 ， 框 架 采 用 的 是 分 层 设计 模式 ， 降 低 了 各 模块 之 间 的 耦合 程度 ， 提 高 了 可 维护 性 和 可 扩展 性 。 还 采用 了 MVC 设 计 模 式 、 抽 象 工程 模式 、 监 听 者 模块 、 单 例 模式 等 流行 的 设 
计 模 式 ， 保 证 了 框架 的 稳定 、 高 效 、 持 续 可 扩展 性 。 


$568: ” iOS 测试 框架 二 次 开发 


6.1 引言 


加 


第 5 章 介绍 了 自动 化 测试 的 一 些 常用 工具 和 使 用 方法 ， 本 章 着 重 讲解 QQ 浏览 器 (iPhone) 的 自动 化 测试 二 次 开发 过 程 ， 基 于 Xcode 自 有 测试 框架 XCTest 和 谷歌 的 EarlGrey 的 二 次 开发 ， 希 望 能 给 对 测试 
框架 二 次 开发 的 同行 提供 借鉴 思路 。 
6.1.1 二 次 开发 忌 体 架构 

一 个 好 用 的 自动 化 框架 ， 对 自动 化 的 实施 至 关 重 要 。 在 选取 框架 的 时 候 必 须 以 需求 为 基本 准则 ， 在 能 实现 这 些 需 求 的 基础 上 ， 再 参考 这 些 标准 ， 即 好 用 、 稳 定 、 有 效 、 快 捷 、 可 推广 、 可 移植 这 几 个 方 
面 来 设计 所 需 的 自动 化 测试 框架 。 
6.1.2 ”整体 部 署 图 


好 用 的 自动 化 测试 应 该 是 部 署 简单 、 运 行 稳定 、 数 据 自动 上 报 。QQ 浏 览 器 (IPhone) 自动 化 部 署 如 图 6-1 所 示 。 

从 图 6-1 中 可 以 看 出 ，QQ 浏 览 器 (iPhone) 自动 化 采用 的 是 分 布 式 部 署 方 式 ， 这 样 可 以 快速 多 终端 同时 执行 脚本 任务 。 首 先是 RDM 系 统 构建 测试 包 ， 触 帮 MAC 监 控 服 务 器 获取 执行 代码 。 其 次 是 MAC 
服务 器 编译 代码 ， 调 用 终端 执行 BVT 脚 本 。 当 终端 执行 完 脚本 后 ， 自 动 上 传 日 志 到 日 志 服 务 器 ， 服 务 器 等 待 多 终端 上 传 日 志 完 毕 后 ， 开 始 分 析 日 志 、 整 合 日 志 报告 ， 并 保存 数据 到 数据 库 。 报 告 邮件 推送 测 
试 人 员 ， 测 试 人 员 确认 日 志 信息 ， 如 果 是 Bug， 则 直接 提交 Bug 到 TAPD (腾讯 MIGBug 管 理 系统 ) 系统 ， 开 发 人 员 修 改 gug， 测 试验 证 ， 关 闭 Bug。 如 果 是 需求 变动 ， 或 者 脚本 错误 ， 则 修改 脚本 ， 提 交代 
码 。 
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um 触发 |BVT 任 务 日 志 | 服 务 众 测试 验证 
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ff iPhone 执行 mm 
Apt ie ed 开发 人 员 修 改 Bug 
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图 6-1 自动 化 部 署 图 
6.1.3 ”整体 架构 图 


目前 市 面 上 现 有 的 自动 化 框架 都 不 能 满足 我 们 以 上 的 需求 ， 所 以 在 现 有 的 一 些 基础 之 上 ， 设 计 出 了 适合 自己 项 目的 自动 化 测试 框架 。 整 体 框架 结构 如 图 6-2 所 示 。 


应 用 层 


自动 化 脚本 。 ”配置 文件 
脚本 分 配 资源 调度 


TIE EE 


图 6-2 ”自动 化 测试 框架 设计 图 


由 图 6-2 可 知 ， 框 架 总 体 分 为 三 层 : 底层 驱动 城 、 中 间 层 和 应 用 层 。 底 层 驱 动 层 主要 是 底层 对 XCTest 等 接口 驱动 测试 封装 。 中 间 层 主要 是 提供 给 脚本 使 用 的 接口 ， 截 图 处 理 ， 日 志 处 理 。 应 用 层 主 要 是 
编写 的 脚本 ， 脚 本 调度 ， 配 置 文件 ， 以 及 日 志 分 析 系 统 ， 下 面 将 详细 分 析 该 框架 。 


6.1.4 ”架构 分 析 


底层 驱动 层 分 为 以 下 几 个 模块 。 


- XCTEST 接 口 封装 : 该 框架 是 革 果 公司 自己 开发 的 用 于 和 Xcode 结合 使 用 的 一 个 底层 架构 ， 我 们 才 用 这 个 XCTest 生 成 执行 Target， 用 于 包装 自动 化 测试 载体 。 


` 消息 处 理 : 主要 用 于 测试 框架 和 被 测试 App 之 间 的 通信 交互 。 

. 驱动 模块 : 主要 提供 UI 遍历 、UI 定 位 、 手 势 执 行 等 功能 ， 采 用 EatlGrey 这 个 框架 二 次 开发 而 成 。 

系统 资源 模块 : 这 个 模块 主要 获取 测试 底层 信息 ， 以 及 被 测试 App 的 性 能 数据 、 内 存 、CPU、 网 络 包 数据 等 信息 。 
中 间 层 分 为 以 下 几 个 模块 。 

控件 调用 封装 : 主要 对 控件 进行 整体 包装 ， 将 控件 获取 的 类 型 、 属 性 、 手 势 封装 在 一 起 ， 方 便 应 用 层 接 口 调用 。 

- 脚本 驱动 : 主要 提供 脚本 执行 的 中 间 层 调度 方式 ， 包 括 控件 判断 、 定 义 、 执 行 等 功能 。 

截图 模块 : 主要 在 脚本 出 错 的 时 候 ， 或 者 需要 强制 截图 提供 日 志 分 析 的 时 候 ， 蕉 取 当 前 屏幕 的 规 图 信息 。 

日 志 模块 : 主要 封装 定义 日 志 层 级 ， 输 出 日 志 时 机 、 日 志 驱 动 、 日 志 输 出 、 日 志保 存 。 
应 用 层 分 为 以 下 几 个 模块 。 

- 自动 化 脚本 : 自动 化 主要 的 呈现 载体 形式 ， 最 上 层次 的 应 用 。 

- 配置 文件 : 配置 Xcode 和 框架 形式 ， 主 要 为 编译 方式 。 

. 脚本 分 配 资源 调度 : 执行 脚本 的 方式 ， 主 要 提供 持续 集成 使 用 。 持 续集 成 采用 的 是 Jenkins 框 架 。 

. 日 志 分 析 系 统 : 主要 用 于 分 析 日 志 信 息 、 生 成 HTML 可 读 的 展示 形式 、 上 传 服务 器 、 邮 件 提醒 等 功能 。 


以 上 就 是 整体 框架 的 架构 介绍 ， 框 架 采 用 的 是 分 层 设计 模式 ， 降 低 了 各 模块 之 间 的 耦合 程度 ， 提 高 了 可 维护 性 和 可 扩展 性 。 还 采用 了 MVC 设 计 模 式 、 抽 象 工程 模式 、 监 听 者 模块 、 单 例 模式 等 流行 的 设 
计 模 式 ， 保 证 了 框架 的 和 稳定、 高效、 持续 可 扩展 性 。 


6.2 JEUX 
本 节 主 要 介绍 底层 驱动 层 的 实现 方式 、 实 现 原理 、 主 要 功能 和 代码 等 内 容 。 
6.2.1 XCTest 接 口 封装 


1.XCTset 介 绍 


XCTest 的 优点 和 缺点 都 是 过 于 简单 。 要 创建 一 个 类 ， 只 需 使 用 “test” 作 为 测试 方法 名 的 前 缀 就 可 。 能 与 Xcode 很 好 地 集成 ， 也 是 XCTest 获 得 青睐 的 原因 。 如 图 6-3 所 示 ， 可 以 点 击 边栏 上 的 小 蓉 形 按 
钮 来 运行 测试 用 例 。 可 以 很 容易 地 查看 所 有 失败 的 测试 用 例 ， 也 可 以 在 测试 用 例 列表 中 点 击 某 一 行 而 快速 地 跳 转 到 某 一 个 测试 用 例 。 


Q35 — (void)testExample { 
36 // Use recording to get started writing UI tests. 


37 // Use XCTAssert and related functions to verify you 
38 ) 
39 


图 6-3 XCTest 执 行 用例 图 


不 雷 的 是 ， 这 已 经 是 XCTest 的 全 部 优点 了 。 在 开发 和 测试 中 ， 使 用 XCTest 时 虽然 我 们 没有 碰 到 过 任何 障碍 ， 但 是 也 会 经 常 想 如 果 它 能 更 方便 一 些 就 好 了 。XCTest 类 看 起 来 就 像 普 通 的 类 ， 而 一 个 
BDD (行为 驱动 开发 ) 测试 套件 的 结构 和 其 嵌 套 的 上 下 文 是 显而易见 的 ， 并 且 这 种 为 测试 创建 说 套 上 下 文 的 可 能 性 也 是 最 缺失 的 。 谱 套 的 上 下 文 允 许 我 们 在 使 独立 的 测试 相对 简单 的 情况 下 创建 越 来 越 具体 


的 场景 。 当 然 ， 在 XCTest 中 这 也 是 可 以 的 ， 比 如 在 一 些 测 试用 例 中 调用 自 定义 的 setup 方 法 ， 但 这 并 不 方便 。 
2.XCTest 工 作 方 式 


苹果 公司 提供 了 一 些 关 于 如 何 使 用 XCTest 的 官方 文档 。 测 试用 例 被 分 到 继承 XCTestCase 的 不 同 子 类 中 去 。 每 个 以 test 开 头 的 方法 都 是 一 个 测试 用 例 。 


因为 测试 用 例 都 是 简单 的 类 和 方法 ， 所 以 可 以 适当 地 添加 一 些 @property 和 辅助 方法 。 


Qua 考虑 到 代码 的 重用 性 ， 我 们 的 所 有 测试 用 例 类 都 有 一 个 共同 的 父 类 ， 也 就 是 TestCase， 它 也 是 久 CTestCase 的 子 类 。 所 有 的 测试 类 都 是 TestCase 类 的 子 类 ， 可 以 把 一 些 公用 的 辅助 方法 放 在 
TestCase 类 中 ， 并 且 增 加 了 一 些 属性 作为 每 个 测试 的 预 置 属性 。 


3.XCTest 接 口 类 
可 以 根据 given-when-then 模 式 来 组 织 我 们 的 测试 用 例 ， 并 将 测试 用 例 拆 分 成 三 个 部 分 。 


在 given 部 分 里 ， 通 过 创建 模型 对 象 或 将 被 测试 的 系统 设置 到 指定 的 状态 来 设 定 测试 环境 。when 部 分 包含 我 们 要 测试 的 代码 。 大 多 数 情 况 下 ， 这 里 只 有 一 个 方法 调用 。 在 then 部 分 中 ， 需 要 检查 行为 的 
结果 是 否 得 到 了 期 望 的 结果 ? 对 象 是 否 有 改变 ? 这 部 分 主要 包括 一 些 断 言 。 主 要 的 接口 代码 如 下 。 


#import «XCTest/XCTestDefines.h» 
#import «XCTest/XCTestErrors.h» 


«XCTest/XCAbs 
«XCTest/XCTes 
«XCTest/XCTes 
«XCTest/XCTes 
«XCTest/XCTes 


tractTest.h» 

tAssertions.h» 
tAssertionsImpl.h-» 

tCase.h» 
tCaserAsynchronousTesting.h» 
tCaseRun.h» 


fimpor 
fimpor 
fimpor 
fimpor 
fimpor 
fimpor 
fimpor 
fimpor 
fimpor 
fimpor 
fimpor 
fimpor 
fimpor 
fimpor 
fimpor 
fimpor 
fimpor 
fimpor 
fimpor 
fimpor 
fimpor 
fimpor 
fimpor 
fimpor 
fimpor 


«XCTest/XCTes 
«XCTest/XCTestExpectation.h» 
«XCTest/XCTestLog.h» 
«XCTest/XCTestObserver.h» 
«XCTest/XCTestObservationCenter.h» 
«XCTest/XCTestObservation.h» 
«XCTest/XCTestProbe.h» 
«XCTest/XCTestRun.h» 
«XCTest/XCTestSuite.h» 
«XCTest/XCTestSuiteRun.h» 
«XCTest/XCUIAPPlication.h» 
«XCTest/XCUIDevice.h» 
«XCTes JICoordinate. h» 

«XCTes! Element.h» 

«XCTes ElementQuery.h» 

«XCTes ElementTypes.h-» 

«XCTes ElementAttributes.h» 

«XCTes ElementTypeQueryProvider.h-» 
«XCTes IKeyboardKeys.h» 

«XCTes JIRemote.h» 


t /XCU 
/XCUIE 
/XCU 
/XCU 
/XCU 


ct ct ct ct ct 


/XCU 
t/XCU 
t/XC 


Chic CE er CE Ch Ret Ch ee (CE CP CE ick ch eh er Ct Ct Rh 


这 种 简单 的 模式 能 够 让 人 更 容易 地 书写 和 理解 这 些 测试 用 例 ， 因 为 它们 都 遵 


4. 可 重用 代码 


随 着 项 目 时 间 的 推移 ， 注 意 至 
它们 加 入 一 个 公共 类 中 ， 为 所 有 的 测试 用 例 服务 。 


结果 证 明 这 个 公共 类 非常 实用 。 这 个 测试 基础 类 有 


Egiat 


(void) setUp { 
self.continueAf 
[super setUp]; 


terFailure - false; 


(void) 
// P 
[super 
[self 


) 


tearDown { 

ut teardown code here. This method is called af 
tearDown]; 

endScriptLog]; 


另外 一 种 我 们 最 近 开始 用 的 模式 也 很 有 用 ， 就 是 在 XCTestCase 类 中 直接 实 


5. 状 态 性 和 无 状态 性 


不 是 需 


无 状态 性 的 代码 在 过 去 几 年 中 一 直 被 提起 。 但 如 今 ， 我 们 的 App 还 
离 这 些 状态 来 使 我 们 的 代码 运 


离 这些 


MX MILLE 


过 隔离 


比如 ， 有 一 个 叫 EventSync 的 类 ， 它 负责 把 本 地 变化 发 送 


是 不 要 发 送 重复 的 变化 。 


我 们 也 可 跟踪 对 象 之 间 的 依赖 关系 。 当 A 和 0B 有 依赖 关系 并 且 B 有 本 地 变化 时 ， 那 么 在 发 送 A 的 本 地 变化 之 前 ， 


假如 有 一 个 UserSyncStrategy 类 ， 它 有 一 个 -nextRequest 方 法 可 以 生成 下 一 次 请 求 ， 这 个 请 求 会 将 本 地 改变 发 送 
类 负责 跟踪 那些 有 本 地 变化 的 用 户 对 象 ， 还 有 那些 我 们 正在 运行 的 请 求 。 除 了 这 


UpstreamObjcetSync 的 类 中 ， 这 个 


通过 这 种 方式 可 以 很 容易 得 到 测试 UpstremObjectSync 的 集合 ， 
UserSyncStrategy 本 身 的 状态 了 。 这 大 大 降低 了 测试 的 复杂 度 ， 更 进 


多 。 


6. 重 写 XCTest 接 口 


有 时 候 我 们 需要 重新 实现 一 些 底层 功能 ， 比 如 要 重新 定义 脚本 的 执行 方式 和 获取 形式 ， 需 要 重 写 接口 testlnvocation。 首 先 在 头 文 件 声明 该 接口 ， 


我们 的 测试 用 例 中 有 越 来 越 多 的 重复 代码 ， 比 如 等 待 异 


ter the invocation of 


状态 。 如 果 ; 没有 状态 ， X 2j Apps 
云 行 得 更 好 。 一 些 类 中 包含 状态 ， 而 大 部 分 类 则 是 无 状态 的 。 通 


关 到 | 服务器。 所 以 它 需 要 跟踪 哪些 本 地 对 象 友 生 变化 并 上 传 到 服务 器 ,还 有 哪些 本 地 变化 现在 正在 被 上 传 到 服务 器 。 一 


它们 可 以 检查 
因为 正在 同步 很 多 不 同类 


#import «Foundation/Foundation.h» 
#import «XCTest/XCTest.h» 
/ 大 大 
Example of plugin that will NSLog all retain cycles found 
within . This could, for instance, send it somewhere to the backend. 
x 
Qinterface MttInvocations : XCTestCase 
Qend 
接 下 来 就 可 以 在 .m 文 件 中 实现 该 重 写 方式 。 部 分 实现 代码 如 下 : 
+ (NSArray «NSInvocation *» *)testInvocations 
{ 
// Get the selectors of this class 
unsigned int mc = 0; 
Method *mlist = class copyMethodList(self.class, &mc); 


NSMutableArray *selectorNames 
for (unsigned int i 0; i < mc; 
NSString *name - [NSString s 


[NSMutabl 
i++) ( 
tringWithFormat .:("£s" 


eArray array]; 


循 了 同样 的 模式 。 


步 才能 完成 ， 或 者 设置 一 个 内 存 中 的 Core Data 堆 栈 等 操作 。 为 了 避免 代码 重复 ， 整 理 所 有 有 用 的 代码 片段 ， 并 将 


J 自 的 -setUp 和 -tearDown 方 法 来 配置 环境 。 实 现代 码 如 下 所 示 。 


each test method in the class. 


委托 协议 。 通 过 这 种 方式 ， 我 们 无 需 笨拙 地 mock 这 个 delegate。 相 反 ， 可 以 直接 与 被 测试 的 类 互动 。 


TATRIA 


SS 复杂 。 通 


意义 。 但 是 ， 状 态 的 管理 又 很 容易 引起 很 多 Bug， 因 为 管理 状态 非常 
过 这 样 的 方式 之 后 ， 不 仅 代 码 变 得 更 加 简单 ， 测 试用 例 也 如 此 。 


次 可 以 友 送 多 个 变化 ， 但 


关 完 上 


送 完毕 


Em 
Tu 


先 等 待 B 的 本 地 变化 发 送 


My 人、 


Aix 


关 到 服务 器 个 类 本 身 是 无 状态 的 ， 更 确切 地 说 ， 所 有 它 的 状态 都 被 封装 在 一 个 叫 
个 类 之 外 ， 其 他 东西 都 是 无 状态 的 。 


这 个 类 是 否 正 确 地 管理 状态 。 对 于 UserSyncStrategy 来 说 ， 在 mockUpstremObjectSync 的 时 候 就 不 用 再 担心 
型 的 对 象 ， 那 些 不 同 的 类 都 是 无 状态 的 ， 并 且 可 以 重用 UpstreamObjectSync 类 ， 所 以 使 代码 简单 了 很 


明确 要 继承 XCTestCase 类 ， 实 现代 码 如 下 : 


, Sel getName (method getName (mlist[i]))]; 


if (name.length » 4 
&& [[name substringToIndex:4] 
[selectorNames addObject:name]; 


isEqualToString:(Q"test"]) 


) 


} 

// Sor 

[selec 
re 


t them al 
torNames 
turn [sel 


phabetically 


1 compare:sel2]; 

1]; 

// Build the NSArray with NSInvocations 

NSMutableArray *result = [NSMutableArray array]; 

for (NSString *selectorString in selectorNames) { 
SEL selector = NSSelectorFromString (selectorString); 
NSMethodSignature *methodSignature = [self instanceMet 


{ 


sortUsingComparator:^NSComparisonResult (NSString * 


 Nonnull sell, NSString * Nonnull sel2) { 


hodSignatureForSelector:selector]; 


NSInvocation *invocation = [NSInvocation invocationWi 
invocation.selector = selector; 
[result addObject:invocation]; 


) 


return res 


ült; 


thMethodSignature:methodSignature]; 


7. 测 试 异步 性 
有 了 时 我 们 需要 异步 测试 等 待 一 些 交 互 消息 ， 比 如 我 们 需要 从 后 台 交 互 一 些 异 步 的 http 协 议 信息 时 ， 就 不 能 同步 执行 操作 了 ， 这 时 就 需要 执行 异步 操作 ， 才 能 保证 在 等 待 消息 的 时 候 资 源 不 被 释放 掉 。 


需要 定义 一 个 XCTestExpectation 对 象 ， 然 后 在 异步 block 调 用 函数 里 执行 fulfill 机 制 ， 实 现 异步 操作 。 设 定 超 时 时 机 等 待机 制 ， 当 超时 的 时 候 我 们 要 设置 expectation=nil， 以 防止 该 内 存 提前 被 ARC 释 
放 掉 。 


经 过 以 上 几 方 面 的 封装 ， 可 以 轻松 地 操作 XCTest 接 口 执行 下 一 步 的 处 理 操作 ， 还 可 以 使 用 Xcode 底 层 的 一 些 特性 ， 为 自动 化 测试 框架 的 开发 打下 基础 。 
6.2.2 ”消息 处 理 模块 


消息 处 理 模块 主要 用 于 处 理 自动 化 框架 和 被 测试 App 之 间 的 信息 交互 事件 。 


模块 实现 是 基于 多 进程 自动 化 测试 框架 下 的 一 种 信息 交互 机 制 。 我 们 的 实现 是 基于 自动 化 测试 框架 开发 的 ， 只 要 是 基于 多 进程 控制 的 UI 自 动 化 测试 框架 ， 都 可 以 应 用 该 发 明 实现 可 控 截 屏 机 制 。 其 主要 
的 实现 原理 如 下 : 框架 的 运行 机 制 不 是 单 进程 的 ， 而 是 多 进程 的 运行 方式 ， 框 架 编译 运行 后 ， 会 有 测试 进程 A 与 被 测试 App 进 程 B8。 因 此 ， 需 要 进程 A 控制 被 测试 进程 B， 并 进行 消息 控制 方式 交互 。 但 是 iOS 
系统 是 不 支持 多 进程 控制 的 ， 因 此 ， 我 们 就 需要 一 种 全 新 的 可 控 操 作 方 式 ， 以 进程 A 为 载体 控制 被 测试 进程 8B， 并 进行 消息 传递 。 首 先 要 在 被 测试 App 中 嵌入 服务 监听 程序 ， 该 程序 主要 用 于 监听 约定 好 的 手 
机 痛 口 、 建 立 session 连 接 、 注 册 消息 事件 、 解 析 事 件 报 文 、 回 调 事件 函数 、 获 取 事 件 、 封 装 结果 报 文 、 返 回 消息 报 文 。 其 次 要 在 测试 进程 A 中 有 客户 端 控制 功能 ， 并 获取 到 约定 的 被 测试 进程 App 的 监控 地 
址 ， 然 后 向 该 地 址 建立 session 连 接 、 回 调 消息 事件 函数 ， 发 送 消息 事件 报 文 、 监 控 回 传 的 结果 报 文 、 解 析 结 果 报 文 、 获 取消 息 事 件 结果 、 断 开 连 接 服务 。 


消息 处 理 代 码 结构 如 图 6-4 所 示 。 


Devicelnfo.swift 
FSlUtils.h 
m, FSUtils.m 


à Home .swift 


Info.plist 

NS String URLEncaod e.h 
NSStringx URLEncod e.m 

hi QBUlTests-B...ing-Header.h 
à Screenshots.swift 

* Session.swift 

à StatusBar.swift 

à String.swift 

UlTestUtils.h 

a| Wait.swift 


图 6-4 消息 处 理 代 码 结 构图 


其 主要 功能 就 是 session 报 文 的 封装 和 发 送 机 制 ， 其 具体 实现 代码 如 下 : 


D > P bn b DDD bD 


> > P b 


impor! 
impor! 


impor! 


Foundation 
UIKit 
XCTest 


Qobjc public class Session :NSObject { 
private struct SessionData { 


} 


static var UlTestServerAddress = "http://localhost:14466" 
static var session: NSURLSession? 


public var UlTestServerAddress: String { 


} 


get { return SessionData.UITestServerAddress } 
set { SessionData.UITestServerAddress = newValue } 


var session: NSURLSession { 


get ( 

if SessionData.session == nil { 
let sessionConfig = NSURLSessionConfiguration.ephemeralSession-Configuration|() 
//SessionData.session = NSURLSession (configuration: sessionConfig, delegate: nil, delegateQueue: NSOperationQueue.mainQueue () ) 
SessionData.session = NSURLSession(configuration: sessionConfig) 


return SessionData.session! 


func urlForEndpoint (endpoint: String, args: [String]) -> NSURL? { 


var urlString = "X(SessionData.UITestServerAddress)/* (endpoint)" 
for arg in args ( 

urlString += "/" 

urlString += arg.urlencode|() 


} 
let endpoint = NSURL (string: urlString) 
guard let url = endpoint else { 
NSLog ("Invalid URL: N(urlString)") 
return nil 


} 
return url 
} 
func dataFromRemoteEndpoint (endpoint: String, method: String, args: [String]) -> NSData? { 
guard let url = urlForEndpoint (endpoint, args: args) else { 
return nil 


} 
let request = NSMutableURLRequest (URL: url) 
request.HTTPMethod = method 

var result: NSData? - nil 

let XCTest = XCTestCase() 


let expectation = XCTest.expectationWithDescription ("dataTask") 
let dataTask = session.dataTaskWithRequest (request) { data, response, error in 
// WARNING: NOT a main queue 
if error != nil { 
NSLog("dataTaskWithRequest error (please check if UlTestServer is running): \(error)") 
return 
} 
if let httpResponse = response as? NSHTTPURLResponse { 


if httpResponse.statusCode != 200 { 
NSLog ("dataTaskWithRequest: status code \(httpResponse.statusCode) received, please check if UITestServer is running") 
return 


) 

) 

guard let responseData = data else { 
NSLog("No data received (UlTestServer not running?)") 
return 


} 
result = responseData 
expectation.fulfill() 


} 

/*guard let task = dataTask else { 
NSLog ("Unable to create dataTask") 
return nil 


F*/ 

dataTask.resume () 
XCTest.waitForExpectationsWithTimeout (10.0, handler: nil) 
return result 


} 
func dataFromRemoteEndpoint (endpoint: String, method: String = "GET", args: Stringhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/162 
return dataFromRemoteEndpoint (endpoint, method: method, args: args) 


} 

func stringFromRemoteEndpoint (endpoint: String, method: String, args: [String]) -> String { 
let data = dataFromRemoteEndpoint (endpoint, method: method, args: args) 

if let stringData = data ( 
let resolution = NSString(data: stringData, encoding: NSUTF8String-Encoding) ?? "" 
return resolution as String 


reuvurrn 


func stringFromRemoteEndpoint (endpoint: String, method: String = "GET", args: Stringhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/1 
return stringFromRemoteEndpoint (endpoint, method: method, args: args) 


unc callRemoteEndpoint (endpoint: String, method: String, args: [String]) { 
let | = dataFromRemoteEndpoint (endpoint, method: method, args: args) 
} 
func callRemoteEndpoint (endpoint: String, method: String = "GET", args: Stringhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16388/C 
callRemoteEndpoint (endpoint, method: method, args: args) 


6.2.3 ”驱动 模块 


驱动 模块 主要 用 于 实现 UI 循环 遍历 、UI 控 件 定 位 、 手 势 控制 等 功能 。 我 们 使 用 的 框架 是 EarlGrey 框 架 ， 该 框架 是 Google 开 源 的 一 款 非常 好 用 的 自动 化 框架 。 


简 言 之 ，EarlGrey 框 架 是 一 款 内 峰 式 框架 (以 framework 形 式 内 嵌 至 应 用 中 ) 。 其 主要 特性 为 : 


.可见 性 检测 : 因为 是 直接 对 应 用 内 对 人 象 操作 ， 所 以 有 可 能 给 一 个 用 户 看 不 到 的 元 素 发 送 触 控 事 件 了 。 这 个 可 以 防止 出 现 这 种 情况 ,浏览 器 使 用 的 Webdriver 里 也 有 类 似 特 性 。 
` 模拟 用 户 操 作 : 使 用 App 级 别 的 触 挖 对象， 而 非 元素 级 别 的 事件 触发 。 简 言 之 ， 屏 幕 上 不 可 见 的 元 素 都 操作 不 了 了 。 


驱动 模块 架构 设计 如 图 6-5 所 示 。 


Synchronization: 


同步 机 制 处 理 


Additions: 03 


H E 5A Common: 
人 02 x 04 基础 公共 模块 


* m 
* tha $ * s» ** 
= E E E Sa aa" + 
ë + 
è 
= * 
a * 
* š 
* * 
C] è 
* Š 
党 * i 
ü " 
ction : . t. 
E] »* * a 
a (98 
Li » ta 


定义 各 种 操作 模型 OT mugs 


Matcher: 08 » o - 06 


MARE 0 v oim 


Exception: 
异常 处 理 模块 


图 6-5 ”驱动 模块 架构 图 

由 图 6-5 可 以 看 出 ， 驱 动 模块 架构 主要 由 8 个 核心 功能 构成 。 

: Action: 定义 各 种 操作 模型 。 用 于 手势 动作 ， 比 如 如 何 定 位 一 个 控件 ， 如 何 单 击 一 个 控件 。 

: Additions: 扩展 接口 层 。 用 于 提供 一 些 扩展 操作 的 模块 ， 如 何 获取 Xcode 底层 操作 数据 ， 如 何 实现 接口 功能 等 。 
: Synchronization: 同步 机 制 处 理 。 不 用 再 手工 等 待 前 一 个 事件 结束 才能 执行 下 一 个 事件 。 

: Common: 基础 公共 模块 。 用 于 把 一 些 具有 共性 的 操作 进行 封装 提炼 ， 作 为 公共 基础 数据 模块 。 

Core: 核心 数据 层 。 主 要 用 于 封装 设置 终端 设备 的 自动 化 操作 句柄、 搜寻 UI 控件 的 支持 匹配 、 创 建 用 户 交 互 的 接口 、 设 置 数 据 源 、 执 行 键盘 定义 操作 ， 以 及 窗口 搜寻 的 层次 与 算法 定义 。 
: Event: 事件 处 理 。 用 于 封装 触摸 信息 的 基本 对 象 操 作 、 发 失败 触摸 事件 的 注入 流程 。 

: Exception: 异常 处 理 模块 。 用 于 处 理 记录 异常 的 堆栈 跟踪 处 理 程序 ， 包 括 失败 处 的 图 形 层 次 结构 。 

: Matcher: 测试 匹配 。 用 于 定义 匹配 控件 的 表达 方式 ， 处 理 各 种 简单 或 者 复杂 的 逻辑 匹配 算法 。 

1. 驱 动 模块 的 使 用 方式 


可 以 去 github 的 官网 直接 下 载 最 新 的 源码 ， 再 解压 到 你 的 自动 化 框架 的 地 方 。 然 后 将 其 EarlGrey.Xcodeproj 工 程 拖 动 到 框架 target 的 下 面 ， 再 在 编译 target 设 置 中 加 入 该 框架 支持 ， 设 置 如 图 6-6 所 示 。 


> Target Dependencies (1 item) 
> Compile Sources (8 items) 


V Link Binary With Libraries (1 item) 


Status 


DESIT 


入 EariGrey.framework Required $ 


十 一 Drag to reorder frameworks 


> Copy Bundle Resources (0 items) 


K6-6 ”EatlGrey 框 架 配 置 图 
至 此 配置 完毕 ， 现 在 就 可 以 放心 在 其 中 扩展 自己 的 功能 了 。 
2. 驱 动 模块 的 功能 特性 


官方 给 了 两 套用 例 ， 一 套 是 使 用 Objective-C (简称 OC) 语言 编写 的 ， 另 一 套 是 使 用 swift 语 言 编写 的 。 两 套用 例 的 内 容 一 样 ， 里 面 的 写法 很 有 学 习 价值 。 这 里 以 OC 语 言 编写 的 用 例 为 例 进行 简单 介 
绍 。 内 容 循序 渐进 ， 从 找 元 素 、 对 元 素 操作 、 找 元 素 + 上 断言 、 对 元 素 操作 + 断言 四 个 阶段 开始 编写 。 从 这 个 用 例 可 以 看 出 ， 在 EarlGrey 的 API 中 ， 找 元 素 与 元 素 操作 是 分 离 的 ， 而 非 像 KIF 那 样 合并 在 一 起 。 单 
击 控件 操作 的 实例 代码 如 下 所 示 。 其 不 包含 查找 元 素 ， 查 找 元 素 在 别 的 类 中 实现 ， 达 成 了 元 素 操作 和 匹配 的 分 离 。 


// 单 击 控件 操作 
- (void)tapAccessibilityLabel: (NSString *)lable VariableParameter: (NSString *) 
VariableParameter( 

id«GREYMatcher» elementMatcher = grey allO! 


(grey accessibilityLabel(lable), grey sufficientlyVisible(),grey enabled(),nil); 


NSString *description = [self doVariableParameter:VariableParameter]; 
[self stepLogStart:description]; 
BOOL elementFlag = [self judgeElementsExists:elementMatcher Label:lable]; 


if (elementFlag) { 
[[EarlGrey selectElementWithMatcher:elementMatcher] performAction:grey tap()]; 
[self rightLog:description]; 

if (warnFlag) ( 

[self screenShotMemory]; 


} 
} 
warnFlag = FALSE; 
[self stepLogEng]; 


以 上 代码 展示 了 如 何 捕获 ERROR (写法 与 一 些 老 的 UIKit 函 数 类 似 ， 返 回 的 是 error 的 地 址 而 非 内 容 ) . 


这 里 error 的 原因 是 有 不 止 一 个 匹配 的 元 素 。 其 识别 元 素 主 要 采用 从 keywidow 的 根 目录 开始 遍历 所 有 的 叶子 元 素 ， 然 后 定位 匹配 的 UI 控件 ， 叶 子 节点 如 图 6-7 所 示 。 


<UIMotionWindow: Bx7fad4ca3d278; AX-N; AX.frame={{0, 8), {375, 667)); AX.activationPoint-1187.5, 333.5) 
667); opaque; alpha-1- 

|--«UILayoutContainerView:0x7fa44caB2810; AX-N; AX.frame-([80, 0}, [375, 667)); AX.activationPoint-[1 
8, (375, 667); opaque; alpha-1» 

| |--«UIMavigationTransitionView:0x7fa449c6a630; AX-N; AX.frame-([80, 0), (375, 667); AX.activation 
frame-([80, ð}, 1375, 667); opaque; alpha-1- 

| | —«UIViewControllerWrapperView:80x7f1a449c23170; AX-N; AX.frame-[[8, 0}, 1375, 667}}; AX.activa 
frame={{@, ©}, (375, 667); opaque; alpha-1- 

| |--«UIView:8x7fa449d173e0; AXN; AX.frame={{0, 0}, {375, 667}}; AX.activationPoint={187.5, 
1375, 667}}; opaque; aLpha=1> 

| | | |—«UIImageView:8x7fa449d04988; AX-N; AX.frame={{0, 0}, 1375, 667)); AX.activationPoint- 
frame={{@, 8, 1375, 667; opaque; alpha-1; UIE-N» 

E | |—«UIBrowserView:8x7fa448d175d0; AX-N; AX.frame-[[0, 8), 1375, 667)); AX.activationPoin 
frame-([80, 8}, (375, 667); opaque; alpha-1- 

| | | | 1 |--sBrowseWindow:0x7fa449e86370; AX-N; AX.frame-[[8, 8), 1375, 667); AX.activationPo 
frame-([80, 0}, 1375, 667}}; opaque; alpha-1- 

| | | | 1 | |--sUIWebViewAutoSwitch:8x7fa44f58ec58; AX-N; AX.frame-ii[8, 0}, {375, 667)); AX.ac 
AX.focused-'N'; frame={{0, 0}, 1375, 667); opaque; alpha-1- 

| | | |! |! | | |--sMttwebViewInfoView:80x7fa44f6802b40; AXN; AX.frame={{0, 72), 1375, 52); AX. 
AX.focused-'N'; frame-([8, 72), 1375, 52; opaque; alpha-1- 

| | | 1 |) |1 | | [|--UILabel:8x7fa44f646c90; AX-Y; AX.1label=' 网 页 自 '; AX.frame-([111.94130859 
84); AX.traits-'UlAccessibilityTraitStaticText'; AX.focused-'N'; frame-[1111.941308593758801, 15), 143. 

| | 1 P d | | 1 J|--UILabel:0x7fa44163d5d0; AX-Y; AX.label-'k.sogou.com'; AX.frame-11155.314 
04); AX.traits-'UlAccessibilityTraitStaticText'; AX.focused-'N'; frame-[1155.314082831250802, 15}, 177. 

| | dE 1 L | | [| [--UlLabel:8x7fa44f63a010; AX-Y; AX.label-z' 提供 '; AX.frame-11232.9459179687 
04); AX.traits-'UlAccessibilityTraitStaticText'; AX.focused-'N'; frame-[1[232.94591796875082, 15}, 138. 

| | d d d»! | | 1 [J|--UlLabel:80x7fa441643350; AX-Y; AX.1label=' 已 启用 00 浏 览 器 X5 浏 览 服务 '; AX.frame- 


117}; AX.traits-'UlAccessibilityTraitStaticText'; AX.focused-'N'; frame={{111. 896533203125, 38}, 11693. 

| | ]| 1 | | | |--sUIlmageView:8x7fa44f6435d80; AX=N; AX.id-'/Users/corincheng/Library/Devel 
Containers/Bundle/Application/32C9E60F-B2B2-4297—-AD33-4EAD6B559250/mtt Lite.app/res/themes/lightroom/re 
13) AX.activationPoint-(188.396533203125, 116.5); AX.traits-'UlAccessibilityTraitlImage'; AX.focused- 

| | | 1 | | | [j-—-MttwebViewWrapperView:8x7fa44fT418TfT0; AX-N; AX.frame-i[8, 8, 1375, 667); 
AX.focused-'N'; frame-([80, 8), (375, 567; opaque; alpha-1- 

| | P d L d | 1 |--UIWebViewWK:80x7fa44e05f0808; AX-N; AX.frame-[i10, 72), 1375, 547]); AX.act 
AX.focused-'N'; frame-([[8, 72), 1375, 547); opaque; alpha-1- 

| | d d d! 1 1 | | |--MttüBWebView:0x7fad49de9bb8; AX-N; AX。.LabetL=' 浏 览 页 ' AX.frame-[[8, 72 
AX.traits-'UlAccessibilityTraitNone'; AX.focused-'N'; frame={{8, 8), 1375, 547); opaque; alpha-1- 

| Od d d P | p | | j—esMttUIWebview8x7fa449dea80b8; AX-N; AX.frame-i1[8, 72), 4375, 547) 


图 6-7 控件 叶子 结构 图 


图 6-7 是 采用 调用 接口 获取 到 的 控件 树 形 机 构 表 ， 其 中 可 以 看 到 根 节点 是 从 keywindow 根 目录 开始 的 ， 然 后 遍历 当前 界面 的 所 有 可 见 的 元 素 。 采 用 的 中 序 遍 历 树 节点 的 形式 ， 直 到 搜索 到 所 有 的 节点 为 
。 匹 配 控件 方式 包装 的 接口 代码 如 下 : 


/** Shorthand for GREYMatchers::matcherForKeyWindow. */ 

GREY EXPORT id«GREYMatcher» grey keyWindow (void); 

/** Shorthand for GREYMatchers::matcherForAccessibilityLabel:. */ 

GREY EXPORT id«GREYMatcher» grey accessibilityLabel(NSString *label); 

/** Shorthand for GREYMatchers::matcherForAccessibilityID:. */ 

GREY EXPORT id«GREYMatcher» grey accessibilityID(NSString *accessibilityID); 
/** Shorthand for GREYMatchers::matcherForAccessibilityValue:. */ 

GREY EXPORT id«GREYMatcher» grey accessibilityValue (NSString *grey accessibilityValue); 
/** Shorthand for GREYMatchers::matcherForAccessibilityTraits:. */ 

GREY EXPORT id«GREYMatcher» grey accessibilityTrait(UIAccessibilityTraits traits); 
/** Shorthand for GREYMatchers::matcherForAccessibilityElementIsFocused. */ 
GREY EXPORT id«GREYMatcher» grey accessibilityFocused (void); 

/** Shorthand for GREYMatchers::matcherForAccessibilityHint:. */ 

GREY EXPORT id«GREYMatcher» grey accessibilityHint(NSString *hint); 

/** Shorthand for GREYMatchers::matcherForText:. */ 

GREY EXPORT id«GREYMatcher» grey text(NSString *inputText); 

/** Shorthand for GREYMatchers::matcherForFirstResponder. */ 

GREY EXPORT id«GREYMatcher» grey firstResponder (void); 

/** Shorthand for GREYMatchers::matcherForSystemAlertViewShown. */ 

GREY EXPORT id«GREYMatcher» grey systemAlertViewShown (void); 

/xx Shorthand for GREYMatchers::matcherForMinimumVisiblePercent:. */ 

GREY EXPORT id«GREYMatcher» grey minimumVisiblePercent (CGFloat percent); 

/** Shorthand for GREYMatchers::matcherForSufficientlyVisible. */ 

GREY EXPORT id«GREYMatcher» grey sufficientlyVisible (void); 

/** Shorthand for GREYMatchers::matcherForInteractable. */ 

GREY EXPORT id«GREYMatcher» grey interactable (void); 

/** Shorthand for GREYMatchers::matcherForNotVisible. */ 

GREY EXPORT id«GREYMatcher» grey notVisible (void); 


多 种 类 型 全 面 的 匹配 方式 可 以 满足 尽 可 能 多 的 实现 方式 。 


手势 定义 也 有 多 种 方式 ， 包 括 我 们 常用 的 单 击 、 双 击 、 滑 动 、 左 滑动 、 右 滑动 、 长 压 等 。 完 全 能 够 满足 我 们 对 日 常 自动 化 测试 的 需求 。 手 势 包 装 代码 如 下 : 


/** Shorthand macro for GREYActions::actionForMoveSliderToValue:. */ 

GREY EXPORT id«GREYAction» grey moveSliderToValue (float value); 

/** Shorthand macro for GREYActions::actionForSetStepperValue:. */ 

GREY EXPORT id«GREYAction» grey setStepperValue (double value); 

/** Shorthand macro for GREYActions::actionForTap. */ 

GREY EXPORT id«GREYAction» grey tap (void); 

/** Shorthand macro for GREYActions::actionForTapAtPoint:. */ 

GREY EXPORT id«GREYAction» grey tapAtPoint (CGPoint point); 

/** Shorthand macro for GREYActions::actionForTypeText:. */ 

GREY EXPORT id«GREYAction» grey typeText(NSString *text); 

/** Shorthand macro for GREYActions::actionForReplaceText:. */ 

GREY EXPORT id«GREYAction» grey replaceText (NSString *text); 

/** Shorthand macro for GREYActions::actionForClearText. */ 

GREY EXPORT id«GREYAction» grey clearText (void); 

/** Shorthand macro for GREYActions::actionForTurnSwitchOn:. */ 

GREY EXPORT id«GREYAction» grey turnSwitchOn (BOOL on); 

/** Shorthand macro for GREYActions::actionForSetDate:. */ 

GREY EXPORT id«GREYAction» grey setDate(NSDate *date); 

/** Shorthand macro for GREYActions::actionForSetPickerColumn:toValue:. */ 
GREY EXPORT id«GREYAction» grey setPickerColumnToValue (NSInteger column, NSString *value); 
/** Shorthand macro for GREYActions::actionForJavaScriptExecution:output:. */ 
GREY EXPORT id«GREYAction» grey javaScriptExecution(NSString *js, _ strong NSString **outResult); 


当 搜寻 一 个 UI 控 件 时 ， 有 时 可 能 找 不 到 ， 有 时 可 能 出 现 多 个 的 情况 ， 这 时 我 们 需要 定义 错误 的 机 制 ， 以 便 下 一 次 继续 遍历 。 这 时 也 需要 进一步 匹配 准确 的 方式 ， 比 如 匹配 一 个 BUTTON 若 出 现 了 两 个 相 
同 的 按钮 ， 就 需要 进一步 匹配 条 件 ， 选 出 所 需要 操作 的 那个 控件 ， 可 以 使 用 grey_allOf、grey_anyOff、matches 等 函数 实现 ， 代 码 如 下 : 


id«GREYMatcher» elementMatcher = grey allOf(grey accessibilityLabel(lable), grey sufficientlyVisible(),grey enabled(),nil); 
NSString *description = [self doVariableParameter:VariableParameter]; 
[self stepLogStart:description]; 


以 上 代码 采用 了 grey _allOf 匹 配 UIButton 方 式 匹 配 唯一 的 控件 。 


EarlGrey 框 架 主要 包含 core、common、Assertion、Event、Matcher、Synchronization 等 模块 ， 我 们 主要 实现 的 功能 都 包含 在 这 些 模块 里 ， 代 码 结构 如 图 6-8 所 示 。 


| |EarlGrey 


bE | | Screenshot 


* |Log 
| |Scriptinterface 
i| | Action 


b | ådditions 


| jAppSupport 
b | | åssertion 


l| | Common 


| |Core 


+| |Delegate 
h) EarlGrey.h 
m, EarlGrey.m 


| |Event 


| |Exception 


| | Matcher 


| | Provider 


Hi | Synchronization 
图 6-8 ”代码 结构 图 
本 节 主 要 讲解 了 驱动 模块 的 功能 和 实现 方式 。 
3. 系 统 资 源 模块 
系统 资源 模块 主要 获取 一 些 底层 系统 的 资源 数据 信息 ， 包 括 执行 自动 化 脚本 时 的 系统 性 能 资源 数据 信息 ， 主 要 封装 指标 形式 如 下 。 


SystemResources 包 如 图 6-9 所 示 。 


MttHDMemorylnfo.h 
MttHDMemorylnfo.m 


TrafficStatistics.h 
TrafficStatistics.m 


图 6-9 系统 资源 代码 结构 图 


获取 设备 信息 功能 的 代码 如 下 所 示 : 


static MttHDMemoryInfo* instanceMemoryIn! 

static dispatch once t onceToken; 
dispatch once(&onceToken, ^{ 

|  instanceMemoryInfo = [[MttHDMemoryInfo alloc] init]; 


o = nil; 


p)? 


Qsynchronized (instanceMemoryInfo) 


{ 


vm statistics data t vmstat; 
mach msg type number t count = HOST VM INFO COUNT; 

[instanceMemoryInfo getReidentMemory] ; 

[instanceMemoryInfo getSystemPhysicsMemory] ; 

[instanceMemoryInfo getUserableMemory] ; 

if (host statistics (mach host self(), HOST VM INFO, (host info t)&vmstat, &count) == KERN SUCCI 
{ 


[可 
[09] 
[02] 


instanceMemoryl 
instanceMemoryl Mord. 
instanceMemoryInfo-» active memory = vmstat.active count * PAGESIZE 


nfo-» free memory = vmstat.free count * PAGESIZE PER M 
nf o] Z 
nfo-» ， 

instanceMemoryInfo-» inactive memory = vmstat.inactive count * PAGESIZE PER MB; 
nfo-» : lei Ci M 
nfi 
nf 


o-» wire memory = vmstat.wire count * PAGESIZE PER M 
P 


I 


instanceMemoryInfo-» purges memory = vmstat.purgeable count * PAGES ZE PER MB; 
instanceMemoryInfo-» speculative memory = vmstat.speculative count * PAGESIZE PER MB; 
instanceMemoryInfo-» total memory = instanceMemoryInfo-» free memory + instanceMemoryInfo-» wire memory + instanceMemoryInfo-» active memory + instanceMemoryIni 


} 
} 


return instanceMemoryIní 


h 


O; 


获取 设备 当前 可 用 内 存 ， 如 下 代码 所 示 : 


+ (NSUInteger)currentFreeMemory 


MttHDMemoryInfo *memoryInfo = [MttHDMemoryInfo currentMemoryInfo]; 


return (NSUInteger) (memoryInfo-» free memory + memoryInfo-» purges memory + memoryInfo-» speculative memory ); 


获取 当前 App 占 用 的 内 存 ， 代 码 如 下 所 示 : 


+ (NSUInteger)otherAPPUsedMemory 
{ 


MttHDMemoryInfo *memoryInfo = [MttHDMemoryInfo currentMemoryInfo]; 
return [memoryInfo getOtherMemory]; 


获取 其 他 App 占 用 的 内 存 ， 代 码 如 下 所 示 : 


+ (NSInteger)selfUsedMemoryRate 
MttHDMemoryInfo *memoryInfo = [MttHDMemoryInfo currentMemoryInfo]; 
return (((memoryInfo-» resident memory + memoryInfo-» wire memory)*100)/memoryInfo-» physics memory) ; 


获取 CPU 使 用 率 ， 代 码 如 下 所 示 : 


*(float)cpu usage 


kern return t kr; 
task info data t tinfo; 
mach msg type number t task info count; 
task info count = TASK INFO MAX; 
kr = task info(mach task self(), TASK BASIC INFO, (task info t)tinfo, &task info count); 
if (kr != KERN SUCCESS) { 

return -1; 


// task basic info t basic info; 
thread array t thread list; 

mach msg type number t thread count; 
thread info data t chinfo; 

mach msg type number t thread info count; 


thread basic info t basic info th; 
//uint32 t stat thread = 0; // Mach threads 
//basic info = (task basic info t)tinfo; 
// get threads in the task 
kr = task threads (mach task self(), &thread list, &thread count); 
if (kr != KERN SUCCESS) { | E 
return -1; 


// if (thread count > 0) 


// stat thread += thread count; 
long tot sec - 0; 

long tot usec = 0; 

float tot cpu = 0; 

int j; -— 

for (j = 0; j < thread count; j++) 
{ 


thread info count = THREAD INFO MAX; 
kr = thread info (thread list[j], THREAD BASIC INFO, 
(thread info t)thinfo, &thread info count); 
if (kr != KERN SUCCESS) { 

return -1; 


basic info th = (thread basic info t)thinfo; 
if (!(basic info th-»flags & TH FLAGS IDLE)) { 
tot sec = tot sec + basic info th-»user time.seconds + basic info th -»system time.seconds; 
tot usec = tot usec + basic info th-»system time.microseconds + basic info th-»system time.microseconds; 
tot cpu = tot cpu + basic info th-»cpu usage / (float)TH USAGE SCALE * 100.0; 
} 
) // for each thread 
kr = vm deallocate (mach task self(), (vm offset t)thread list, thread count * sizeof (thread t)); 
assert(kr — KERN SUCCESS); 


return tot cpu; 


目前 提供 的 接口 形式 可 以 供应 用 层 接口 调用 ， 代 码 如 下 所 示 : 


Gproperty (nonatomic, readonly) double free memory; 

Gproperty (nonatomic, readonly) double wire memory; 

Gproperty (nonatomic, readonly) double active memory; 

Gproperty (nonatomic, readonly) double inactive memory; 

Gproperty (nonatomic, readonly) double purges memory; 

Gproperty (nonatomic, readonly) double speculative memory; 
Q8property(nonatomic, readonly) double total memory; 

Gproperty (nonatomic, readonly) double resident memory; 

Gproperty (nonatomic, readonly) double physics memory; 
Q8property(nonatomic, readonly) double userable memory; 

+ (MttHDMemoryInfo *)currentMemoryInfo; p 

+ (NSUInteger)currentFreeMemory; // 当 前 可 用 内 存 ， 单 位 为 MB 

+ (NSUInteger)currentSelfUsedMemory; // 当 前 自身 占用 的 内 存 ， 单 位 为 MB 
+ (NSUInteger)otherAPPUsedMemory; // 其 他 App 占 用 内 存 ， 单位 为 MB 
+ (NSInteger)selfUsedMemoryRate ; / /自身 占用 与 总 内 存 的 比率 

+ (NSInteger) freeMemoryRate ; // 空 闲 内 存 与 总 内 存 的 比率 

+ (NSUInteger)otherUsedMemoryRate; // 其 他 占用 内 存 的 比率 
*(float)cpu usage; 


6.3 HBE 


本 节 主 要 介绍 中 间 层 的 实现 方式 ， 以 及 中 间 层 包含 的 模块 和 功能 部 分 。 


6.3.1 ”控件 调用 封装 层 
该 模块 主要 分 为 一 级 接口 和 二 级 接口 封装 形式 ， 提 供给 脚本 使 用 的 接口 。 其 衔接 的 就 是 底层 模块 的 驱动 模块 部 分 ， 脚 本 调用 该 接口 实现 对 Ul 控 件 的 操作 。 主 要 封装 控件 和 手势 并 一 起 使 用 ， 方 便 用 户 编 


写 脚 本 和 调试 ， 与 底层 隔离 开 来 。 


其 模块 主要 包含 MttScriptinterface、Mtt-ScriptDataParser、Mttinvocations 三 个 文件 。 分 别 是 一 级 接口 、 脚 本 调用 、 二 级 接口 ， 内 部 逻辑 分 离 ， 重 写 XCTest 的 一 些 功 能 。 中 间 层 代码 结构 如 图 6-10 
所 示 。 


v Scriptinterface 
h Mttinvocatioans.h 
Mttinvocations.m 


MttScriptDataParser.h 


| MttScriptDataParser.m 
MttScriptinterface.h 
MttScriptinterface.m 


图 6-10 中间 层 代 码 结 构图 


MttScriptinterface 主 要 包含 常用 的 控件 调用 形式 ， 代 码 如 下 : 


// 单 击 控件 

- (void)tapAccessibilityLabel: (NSString *)lable VariableParameter: (NSString *)VariableParameter; 

// 单 击 控件 

- (void)tapUIAccessibilityTraitButtonLabel: (NSString *)lable VariableParameter: (NSString *)VariableParameter; 

// 长 压 控 件 

- (void)pressAccessibilityLabel: (NSString *)lable VariableParameter: (NSString *)VariableParameter; 

// 向 左 滑动 控件 

- (void)swipLeftAccessibilityLabel: (NSString *)lable VariableParameter: (NSString *)VariableParameter; 

// 多 个 控件 选择 

- (void)tapAccessibilityLabel: (NSString *)lable Label2: (NSString *)lable2 VariableParameter: (NSString *)VariableParameter; 
// 单 击 坐标 控件 

- (void)tapAtPoint: (CGFloat)x PointY: (CGFloat)y VariableParameter: (NSString *)VariableParameter; 

// 3x &Buttonde4f 

- (void)tapUIButtonAccessibilityLabel: (NSString *)lable VariableParameter: (NSString *)VariableParameter; 

// 单 击 输入 文本 控件 

- (void)typeTextAccessibilityValue: (NSString *)lable TypeText: (NSString *)typeText VariableParameter: (NSString *)VariableParameter; 
// 单 击 输入 文本 控件 

- VERO m C E *)lable TypeText: (NSString *)typeText VariableParameter: (NSString *)VariableParameter; 
// 单 击 搜索 控 

- (void)tapUITextFieldAccessibilityLabel: (NSString *)lable VariableParameter: (NSString *)VariableParameter; 

// 向 左 慢 慢 滑 动 控件 

- (void)swipeSlowLeftAccessibilityLabel: (NSString *)lable VariableParameter: (NSString *)VariableParameter; 

// 坐 标 窗口 快速 向 上 滑动 


// 坐 标 窗口 快速 向 下 滑动 


// 坐 标 窗口 快速 向 左 滑动 


(void)swipeFastUp: (NSString *)Variab] 


eParameter; 


(void)swipeFastDown: (NSString *)VariableParameter; 


- (void 
// 坐 标 窗 
- (void 
// 坐 标 窗 
- (void 
// 坐 标 窗 
- (void 
/ PPAR 
(BOO] 


)swipeFastLeft: (NSString 
口 快速 向 右 滑动 
)swipeFastRight: (NSString 
ur Hk ER 动 


*)VariableParameter; 


*)VariableParameter; 


)swipeSlowUp: (NSString *)VariableParameter; 


口 慢 速 向 下 滑动 
) swipeSlowDown: (NSString 
件 是 否 存 在 


/ Hyde 


件 是 否 存 在 


/ [PB 


^T dE 


- (void)noExistLogElemetsAccessibilityLabel: (NSString 


// 判 断 控 


- (void)existLog 


件 存在 


比如 ， 单 击 BUTTON 控 件 的 封装 形式 如 下 面 代码 所 示 ， 其 封装 思路 是 先 获取 到 控件 ， 然 后 判断 控件 是 否 存 在， 接着 对 控件 进 


// 单 击 控件 操作 
- (void)tapAccessibilityLabel: (NSString *)lable VariableParameter: (NSString *)VariableParameter( 


id«GREYMatcher» elementMatcher = grey allOf 
NSString *description = [self 
[self stepLogStart: description]; 


*)VariableParameter; 


(BOOL)existUIButtonElemetsAccessibilityLabel: (NSString *)] 


)jexistElemetsAccessibilityLabel: (NSString *)lable VariableParameter: (NSString *)VariableParameter; 


able VariableParameter: (NSString 


*) Lab] 


*)VariableParameter; 


e VariableParameter: (NSString *)VariableParameter; 


ElemetsAccessibilityLabel: (NSString 


*)lable VariableParameter: (NSString *)VariableParameter; 


(grey accessibilityLabel(lable), grey sufficientlyVisible(),grey enabled(),nil); 


点 击 操作 ， 其 他 控件 的 封装 也 是 


doVariableParameter:VariableParameter]; 


BOOI 


if 


(el ementFlag) { 


} 


warnFlag = FALSE; 
[self 


if (warnFlag) { 


} 


其 中 ，elementFlag 就 是 嵌入 了 成 功 与 失败 的 判断 方式 。 如 果 成 功 ， 去 单 击 控件 ， 


stepLogEnd]; 


6.3.2. ”截图 模块 


截图 模块 是 iOS 系 统 下 的 一 种 可 控 截 屏 机 制 |， 
进程 的 运行 方式 ， 框 架 编译 运行 后 


的 ,而 是 多 


[[EarlGrey selectElementWit 
[self rightLog:description]; 


[self screenShotMemory]; 


hMatcher:elementMatcher] 


' elementFlag = [self judgeElementsExists:elementMatcher Label:lable]; 


performAction: grey tap()]; 


控 的 操作 方式 ， 以 进程 A 为 载体 控制 被 测试 进程 B， 并 进行 截屏 操作 。 


[self stepLogStart: description] 则 是 日 志 的 记录 方式 。 


这 种 机 制 基 于 多 进程 自动 化 测试 框架 。 只 要 是 基于 多 进程 控制 的 UI 自动 化 测试 框架 
吾 会 有 测试 进程 A、 被 测试 App 进 程 B， 所 以 需 


类 似 的 实现 方式 。 代 码 如 下 : 


， 都 可 以 应 用 该 发 明 实现 可 控 截 屏 机 制 。 该 框架 的 运行 机 制 不 是 单 进 
进程 A 控制 被 测试 进程 B8， 并 进行 截屏 机 制 操作 。 但 是 ，iOS 系 统 是 不 支持 多 进程 控制 的 ， 所 以 需要 一 种 全 新 的 可 


首先 需要 在 被 测试 App 中 嵌入 服务 监听 程序 ， 该 程序 主要 用 于 监听 约定 好 的 手机 端口 ， 建 立 session 连 接 ， 注 册 截 屏 事 件 ， 解 析 事 件 报 文 ， 回 调 截 屏 事 件 函 数 ， 获 取 图 片 ， 封 装 结果 报 文 ， 返 回 截图 报 


文 。 其 次 在 测试 进程 A 中 需要 有 客户 端 
文 ， 解 析 结 果 报 文 ， 获 取 图 像 信息 ， 进 行 


图 像 处 理 (格式 、 大 小 、 


控制 功能 ， 获 取 到 约定 的 被 测试 进程 App 的 监控 地 址 ， 然 后 向 该 地 址 建立 session 连 接 ， 回 调 截屏 事件 函数 ， 封 装 截屏 报 文 ， 发 送 截 屏 事 件 报 文 ， 
BR) ， 然 后 保存 图 像 ， 断 开 连 接 服务 。 具 体 的 分 析 流 程 如 图 6-11 所 示 。 


监控 回 传 的 结果 报 


测试 框架 进程 被 测试 App 进 程 
自动 化 脚本 调 起 被 测 App 


打开 监控 端口 


初始 化 session 


调 起 监控 事件 


月 
JE 


是 
处 理 消 息 事 件 
解析 报 文 ， 获 取 获取 截图 结果 回调 截屏 函数 ， 
返回 截屏 图 像 实现 截屏 轮 询 消 息 


压 和 图像 处 理 构建 结果 
缓存 通道 iH ABO 
关闭 连接 服务 


图 6-11 截图 模块 流程 图 
其 实现 步骤 如 下 。 


步骤 1: 搭建 开发 环境 ， 配 置 好 UITest 自 动 化 测试 框架 〈 测 试 进程 定义 为 A， 被 测试 App 进 程 定义 为 B， 后 续 将 使 用 A、B 代 蔡 两 种 进程 ) 。 


步骤 2: 编译 运行 后 ，A 调 起 B， 这 时 B 自 动 打开 监控 端口 ， 监 控 指 定 的 手机 端口 。 如 果 监 控 成 功 ， 则 执行 步骤 3， 人 否则 重新 进行 监控 。 

步骤 3: 建立 成 功 监控 后 ， 开 始 注册 截屏 服务 事件 。 

步骤 4: B 的 监控 线程 会 持续 监控 服务 消息 队列 ， 当 监控 到 截屏 服务 事件 后 ， 则 执行 步骤 7， 人 否则 一 直 轮 询 队 列 。 

步骤 5: A 执 行 回调 截屏 函数 ， 开 始 向 B 监 控 的 手机 端口 发 起 session 链 接 ， 如 果 初 始 化 链接 成 功 ， 则 执行 步骤 6， 否 则 重新 党 试 链接 。 

步骤 6: 开始 构建 http 形 式 的 截图 报 文 ， 然 后 向 B 发 送 该 事件 报 文 。 

步骤 7: B 从 监控 服务 队列 中 获取 到 事件 报 文 后 ， 开 始 处 理 该 消息 事件 ， 回 调 B 的 截屏 事件 函数 ， 开 始 截屏 ， 当 截屏 结束 后 ， 返 回 截屏 图 像 。 

步骤 8: 构建 带 图 像 的 结果 消息 报 文 ， 然 后 B 将 该 报 文 回 传 给 A，B 关 闭 该 次 链接 服务 ， 重 新 开始 执行 步骤 4 

步骤 9: A 获取 到 B 发 送 的 结果 消息 报 文 后 ， 检 查 报 文 是 否 完整 有 效 ， 如 果 成 功 ， 则 执行 步骤 10， 否 则 继续 执行 步骤 5 

步骤 10: A 成 功 获取 报 文 后 ， 解 析出 消息 中 的 图 像 信 息 ， 然 后 将 图 像 讨 入 图 像 处 理 缓存 通道 进行 图 像 集中 处 理 ， 包 括 图 像 格 式 处 理 、 像 素 处 理 、 大 小 调整 等 ， 最 后 保存 图 像 。 


部 分 功能 实现 代码 如 下 : 


n 


+ (NSString *)imageWithScreenshot: (NSString *)imagePath imageName: (int)name 
{ 


//NSData *imageData = [self dataWithScreenshotInPNGFormat]; 
//UlImage *image = [self dataWithScreenshotInPNGFormat]; 
NSString *imageDirectory = [imagePath stringByAPPendingPathComponent:Q"screenShot"]; 
NSFileManager *fileManager = [NSFileManager defaultManager]; 
BOOL fileExists [fileManager fileExistsAtPath:imagePath]; 
if (!fileExists) { 
[fileManager createDirectoryAtPath:imagePath withIntermediateDirectories: YES attributes:nil error:nil]; 


fileExists = [fileManager fileExistsAtPath:imageDirectory]; 
if (!fileExists) { 
[fileManager createDirectoryAtPath:imageDirectory withlIntermediateDirectories: YES attributes:nil error:nil]; 


NSString *pictureName- [NSString stringWithFormat:G8"screenShow $d.png",name]; 

NSString *savedlImagePath = [imageDirectory stringByAPPendingPathComponent:pictureName]; 
UIWindow *screenWindow = [[UIAPPlication sharedAPPlication] keyWindow]; 
UIGraphicsBeginImageContext (screenWindow.frame.size);//4& AXE, &,&window 
[screenWindow.layer renderInContext:UIGraphicsGetCurrentContext ()]; 

UlImage *viewlmage = UlGraphicsGetImageFromCurrentlImageContext (); 
UlGraphicsEndImageContext (); 

NSData *imageViewData -UIImagePNGRepresentation (viewlmage); 

[imageViewData writeToFile:savedlmagePath atomically:YES]; 


NSArray *pathArray = [savedlImagePath componentsSeparatedByString:Q"/"]; 
NSUInteger len = [pathArray count]; 
if (len > 3) ( 
NSString *imagePath 1 = [[pathArray objectAtIndex: (len-4)] stringByAPPendingPathComponent:[pathArray objectAtIndex: (len-3)]]; 
NSString *imagePath 2 = [imagePath 1 stringByAPPendingPathComponent: [pathArray objectAtIndex: (len-2)]]; 

savedlImagePath = [imagePath 2 stringByAPPendingPathComponent: [pathArray objectAtIndex: (len-1)]]; 


} 


return savedImagePath; 


6.3.3 日 志 处 理 模块 


Log 包 下 面 的 所 有 代码 用 于 分 析 整 合 UITEST 原 有 日 志 功 能 。 重 新 定义 日 志 级 别 ， 重 定向 NSLog 日 志 功 能 ， 主 要 是 标准 输出 、 标 准 出 错 管道 的 信息 。 分 析 定 义 日 志 存 储 位 置 ， 按 照 等 级 写 入 日 志文 件 。 其 
代码 结构 如 下 所 示 : 


// 打 印 日 志 信息 
- (void)writeScriptLog: (NSString*)message LogLevel: (NSUInteger)level(í 
switch (level) 


{ 


case LOG FLAG ERROR: 
NSLog (8" [UITESTLOG]- [ERROR] - [$8] ", message) ; 
break; 

case LOG FLAG WARN: 
NSLog (8" [UITESTLOG] - [WARN] - [$8] ", message) ; 
break; 

case LOG FLAG INFO: 


NSLog (8" [UITESTLOG] - [INFO] - [%@]", message) ; 
break; 

default: 
NSLog (8" [UI TESTLOG] - [DEBUG] - [$0] ", message) ; 
break; 


底层 Log 日 志 需 要 HOOK 机 制 才 能 抓 取 到 ， 所 以 需要 重 定向 操作 ，stderr、stdout 这 两 个 管道 的 日 志 信息 需要 抓 取 到 Log 日 志文 件 中 。 实 现 日 志 代 码 如 下 : 


-(NSString *)redirectNSLogToDocumentFolder: (NSString *)taskName ScriptName: (NSString *)LogName 

{ 
// 如 果 已 经 连接 Xcode 调试 ， 则 不 输出 到 文件 

NSArray *homePath = NSSearchPathForDirectoriesInDomains (NSDesktopDirectory, NSUserDomainMask, YES); 

NSString *LogPath = [homePath objectAtIndex:0]; 

NSArray *pathArray = [LogPath componentsSeparatedByString:Q"/"]; 

NSString *LogDirectoryPath = [[pathArray objectAtIndex:1] stringByAPPendingPathComponent: [pathArray objectAtIndex:2]]; 

NSString *LogDirectory = [[8"/" stringByAPPendingString:LogDirectoryPath] stringByAPPendingPathComponent:(Q "Desktop/UITest/UITestLog"]; 

NSFileManager *fileManager - [NSFileManager defaultManager]; 

BOOL fileExists [fileManager fileExistsAtPath:LogDirectory]; 

i (!fileExists) { 

[fileManager createDirectoryAtPath:LogDirectory withIntermediateDirectories: YES attributes:nil error:nil]; 


} 
NSString *taskDirectory = [LogDirectory stringByAPPendingPathComponent:taskName]; 
fileExists = [fileManager fileExistsAtPath:taskDirectory]; 


3 (!fileExists) ( 
[fileManager createDirectoryAtPath:taskDirectory withIntermediateDirectories: YES attributes:nil error:nil]; 


} 
NSDateFormatter *formatter = [[NSDateFormatter alloc] init]; 
[formatter setLocale:[[NSLocale alloc] initWithLocaleIdentifier:@"zh CN"]]; 

[formatter setDateFormat:G"yyyy-MM-dd-HH-mm-ss"]; // 每 次 启动 后 都 保存 在 一 个 新 的 日 志文 件 中 


NSString *dateStr = [formatter stringFromDate: [NSDate date]]; 

LogFilePath = [taskDirectory stringByAPPendingFormat:Q"/$(0 $8.Log",LogName, dateStr]; 
NSString *imagePath = [taskDirectory stringByAPPendingFormat:(8"/£80 %0", LogName, dateStr]; 
originHl = dup(STDERR FILENO); 


// 将 Log 输 入 到 文件 中 
//freopen([LogFilePath cStringUsingEncoding:NSASCIIStringEncoding], "a+", stdout); 
freopen ([LogFilePath E E StringEncoding], "a+", stderr); 
// 未 捕获 的 Objective-C 异 常 日 志 
/ /NSSetUncaughtExcep hon iene en (&UncaughtExceptionHandler); 
return imagePath; 


打印 输出 的 日 志 形 式 如 图 6-12 所 示 。 


2016-11-18 18:53:03.905 mttlite[72886:13473772] [UITESTLOG]- [INF0]-[START UITESTSCRIPT:711001] 

2016-11-18 18:53:03.905 mttlite[72886:13473772] [UITESTLOG]- [INFO]-[UITEST SCRIPTDESCRIPTION :百度 页 面 进入 和 退 入 全 屏 ] 
2016-11-18 18:53:03.905 mttlite[72886:13473772] [UITESTLOG]- [INF0]-[<STEP NO=1 DESCRIPTION= 点 击 蔷 单 按钮 >] 
2016-11-18 18:53:04.273 mttlite[72886:13473772] [UITESTL0G]- [INF0]-[ 点 击 菜单 按钮 is execute ok] 

2016-11-18 18:53:04.273 mttlite[72886:13473772] [UITESTLOG] - [INFO] - [«/STEP»] 

2016-11-18 18:53:04.273 mttlite[72886:13473772] [UITESTLOG]- [INFO]-[«STEP NO-2 DESCRIPTION= 设 置 全 屏 模 式 >] 


2016-11-18 18:53:04.829 mttlite[72886:13473772] [UITESTL0OG]- [INF0]-[ 设 置 全 屏 模式 is execute ok] 

2016-11-18 18:53:05.882 mttlite[72886:13473772] [UITESTLOG]- [INFO]- [MttFullScript-2016-11-18-18-51-35/711001 2016-11-18-18-53-03/screenShot/screenShow_2. png] 
2016-11-18 18:53:05.882 mttlite[72886:13473772] [UITESTLOG] - [INFO] - [«/STEP»] 

2016-11-18 18:53:06.883 mttlite[72886:13473772] [UITESTLOG]- [INFO] -[«STEP NO0=3 DESCRIPTION= 空 白 点 击 >] 


2016-11-18 18:53:09.474 mttlite[72886:13473772] [UITESTLOG]-[INF0]-[F Amt is execute ok] 

2016-11-18 18:53:09.475 mttlite[72886:13473772] [UITESTLOG] - [INF0]-[</STEP>] 

2016-11-18 18:53:09.475 mttlite[72886:13473772] [UITESTLOG]- [INFO]-[«STEP NO-4 DESCRIPTION= 搜 索 www.baidu.com>] 

2016-11-18 18:53:09.886 mttlite[72886:13473772] Adjusting repeatCount to 8.375000 for animation «CAKeyframeAnimation: 0x61000062a080» 
2016-11-18 18:53:09.891 mttlite[72886:13473772] Adjusting repeatCount to 8.375000 for animation «CAKeyframeAnimation: 0x608000429b20» 
2016-11-18 18:53:09.892 mttlite[72886:13473772] Adjusting repeatCount to 8.375000 for animation «CAKeyframeAnimation: 0x610000631dc0» 
2016-11-18 18:53:10.382 mttlite[72886:13473772] Attempting to type key m. 

2016-11-18 18:53:10.383 mttlite[72886:13473772] Tapping on key: m. 

2016-11-18 18:53:10.399 mttlite[72886:13473772] Adjusting repeatCount to 8.375000 for animation «CAKeyframeAnimation: 0x61800082a6e0» 
2016-11-18 18:53:10.417 mttlite[72886:13473772] Attempting to type key .. 

2016-11-18 18:53:10.417 mttlite[72886:13473772] Tapping on key: .. 

2016-11-18 18:53:10.451 mttlite[72886:13473772] Attempting to type key b. 

2016-11-18 18:53:10.452 mttlite[72886:13473772] Tapping on key: b. 

2016-11-18 18:53:10.486 mttlite[72886:13473772] Attempting to type key a. 

2016-11-18 18:53:10.486 mttlite[72886:13473772] Tapping on key: a. 

2016-11-18 18:53:10.520 mttlite[72886:13473772] Attempting to type key i. 

2016-11-18 18:53:10.520 mttlite[72886:13473772] Tapping on key: i. 

2016-11-18 18:53:10.555 mttlite[72886:13473772] Attempting to type key d. 

2016-11-18 18:53:10.555 mttlite[72886:13473772] Tapping on key: d. 

2016-11-18 18:53:10.590 mttlite[72886:13473772] Attempting to type key u. 

2016-11-18 18:53:10.590 mttlite[72886:13473772] Tapping on key: u. 

2016-11-18 18:53:10.625 mttlite[72886:13473772] Attempting to type key .. 

2016-11-18 18:53:10.625 mttlite[72886:13473772] Tapping on key: .. 

2016-11-18 18:53:10.659 mttlite[72886:13473772] Attempting to type key c. 

2016-11-18 18:53:10.660 mttlite[72886:13473772] Tapping on key: c. 

2016-11-18 18:53:10.695 mttlite[72886:13473772] Attempting to type key o. 

2016-11-18 18:53:10.695 mttlite[72886:13473772] Tapping on key: o. 

2016-11-18 18:53:10.729 mttlite[72886:13473772] Attempting to type key m. 

2016-11-18 18:53:10.730 mttlite[72886:13473772] Tapping on key: m. 

2016-11-18 18:53:10.764 mttlite[72886:13473772] Attempting to type key 


2016-11-18 18:53:10.764 mttlite[72886:13473772] Tapping on key: Go. 

2016-11-18 18:53:10.816 mttlite[72886:13473772] View is moving to nil window. Skipping viewWillDisappear state tracking. 

2016-11-18 18:53:10.875 mttlite[72886:13473772] Adjusting repeatCount to 8.375000 for animation «CAKeyframeAnimation: 0x61800063a080» 
2016-11-18 18:53:10.876 mttlite[72886:13473772] [UITESTLOG] - [INFO] - [1812:www. baidu.com is execute ok] 

2016-11-18 18:53:10.876 mttlite[72886:13473772] [UITESTLOG] - [INFO] - [«/STEP»] 

2016-11-18 18:53:10.876 mttlite[72886:13473772] [UITESTLOG]- [INFO] -[«STEP NO-5 DESCRIPTION-5$2& (5) ER 3)» ] 

2016-11-18 18:53:11.329 mttlite[72886:13473772] View is moving to nil window. Skipping viewwWwillDisappear state tracking. 

2016-11-18 18:53:11.330 mttlite[72886:13473772] View is moving to nil window. Skipping viewWillDisappear state tracking. 

2016-11-18 18:53:11.331 mttlite[72886:13473772] View is moving to nil window. Skipping viewwWillDisappear state tracking. 

2016-11-18 18:53:11.331 mttlite[72886:13473772] View is moving to nil window. Skipping viewwWwillDisappear state tracking. 

2016-11-18 18:53:11.333 mttlite[72886:13473772] View is moving to nil window. Skipping viewWillDisappear state tracking. 

2016-11-18 18:53:11.334 mttlite[72886:13473772] View is moving to nil window. Skipping viewwWillDisappear state tracking. 

2016-11-18 18:53:11.462 mttlite[72886:13473772] Adjusting repeatCount to 8.375000 for animation «CAKeyframeAnimation: 0x618000833620- 
2016-11-18 18:53:12.152 mttlite[72886:13473772] [UITESTLOG] - [INFO] - [«/STEP»] 

2016-11-18 18:53:12.152 mttlite[72886:13473772] [UITESTLOG]- [INFO] - [«STEP NO-6 DESCRIPTION= 判 断 菜 单 隐藏 >] 

2016-11-18 18:53:12.478 mttlite[72886:13473772] [UITESTLOG]- [INFO] - [XMR is execute ok] 

2016-11-18 18:53:12.478 mttlite[72886:13473772] [UITESTLOG]- [INFO]-[«STEP NO0=6 DESCRIPTION-($238[5) F;fR 2» ] 

2016-11-18 18:53:13.684 mttlite[72886:13473825] Adjusting repeatCount to 24.000000 for animation «CAKeyframeAnimation: 0x618000a21280» 
2016-11-18 18:53:13.684 mttlite[72886:13473825] Adjusting repeatCount to 24.000000 for animation «CAKeyframeAnimation: 0x618000a22000- 
2016-11-18 18:53:23.540 mttlite[72886:13473772] [UITESTLOG] - [INFO] - [«/STEP»] 

2016-11-18 18:53:23.540 mttlite[72886:13473772] [UITESTLOG]- [INFO]-[«STEP NO-7 DESCRIPTION- d; X 9:251» ] 

2016-11-18 18:53:24.907 mttlite[72886:13473825] Adjusting repeatCount to 24.000000 for animation «CAKeyframeAnimation: 0x618000a20800-» 
2016-11-18 18:53:24.907 mttlite[72886:13473825] Adjusting repeatCount to 24.000000 for animation «CAKeyframeAnimation: 0x61800063a2a0-» 
2016-11-18 18:53:25.342 mttlite[72886:13473772] [UITESTLOG]- [INF0]~-[ 点 击 菜单 按钮 is execute ok] 

2016-11-18 18:53:25.343 mttlite[72886:13473772] [UITESTLOG] - [INFO] - [«/STEP»] 

2016-11-18 18:53:25.343 mttlite[72886:13473772] [UITESTLOG]- [INFO] -[«STEP NO-8 DESCRIPTION= 设 置 全 屏 模 式 >] 

2016-11-18 18:53:26.043 mttlite[72886:13473772] [UITESTLOG]- [INF0]-[ 设 置 全 屏 模式 is execute ok] 

2016-11-18 18:53:27.088 mttlite[72886:13473772] [UITESTLOG] - [INFO] -[MttFullScript-2016-11-18-18-51-35/711001 2016-11-18-18-53-03/screenShot/screenShow, B. png] 
2016-11-18 18:53:27.088 mttlite[72886:13473772] [UITESTLOG] - [INFO] - [«/STEP»] 

2016-11-18 18:53:28.089 mttlite[72886:13473772] [UITESTLOG]- [INFO]-[«STEP NO-9 DESCRIPTION= 空 白 点 击 >] 


2016-11-18 18:53:30.637 mttlite[72886:13473772] [UITESTLOG]-[INFO]-[S? B gai is execute ok] 


图 6-12 日 志 结 构图 


6-12 清 晰 明了 地 输出 了 脚本 执行 的 情况 ， 为 以 后 日 志 分 析 模 块 提供 有 力 的 保证 ， 而 且 获 取 到 了 全 部 的 日 志 信息 ， 包 括 测试 框架 输出 的 日 志 ， 被 测试 App 实 现 的 日 志 信息 ， 为 我 们 分 析 脚 本 执行 情况 提 
供 了 详细 的 数据 信息 。 


64 应 用 层 
本 节 主 要 介绍 应 用 层 的 详细 实现 形式 。 主 要 包括 脚本 、 配 置 文件 、 执 行 驱 动 、 日 志 分 析 系 统 四 个 模块 。 


6.41 自动 化 脚本 


自动 化 展现 形式 最 终 体 现在 自动 化 脚本 上 ， 通 过 执行 自动 化 脚本 最 终 达到 自动 化 的 效果 。 自 动 化 要 实现 可 扩展 性 ， 要 让 测试 工程 师 快速 使 用 ， 包 括 没有 编程 基础 的 工程 师 都 能 快速 上 手 ， 就 必须 要 有 充 
分 的 接口 包装 。 第 6.3 节 介绍 的 一 级 接口 部 分 就 对 接口 实现 了 尽 可 能 简易 的 包装 。 没 有 编程 的 工程 师 也 能 在 1 小 时 内 就 学 会 如 何 编写 脚本 。 


我 们 提供 的 一 级 接口 代码 如 下 : 


// 单 击 控件 

- (void)tapAccessibilityLabel: (NSString *)lable VariableParameter: (NSString *)VariableParameter; 
// 单 击 控件 
- (void)tapUIAccessibilityTraitButtonLabel: (NSString *)lable VariableParameter: (NSString *)VariableParameter; 
// 长 压 控 件 
- (void)pressAccessibilityLabel: (NSString *)lable VariableParameter: (NSString *)VariableParameter; 
// 向 左 滑动 控件 
- (void)swipLeftAccessibilityLabel: (NSString *)lable VariableParameter: (NSString *) VariableParameter; 

// 多 个 控件 选择 

- (void)tapAccessibilityLabel: (NSString *)lable Label2: (NSString *)lable2 VariableParameter: (NSString *)VariableParameter; 
// 单 击 坐 标 控件 

- (void)tapAtPoint: (CGFloat)x PointY: (CGFloat)y VariableParameter: (NSString *)VariableParameter; 

// 3x &Buttonde4f 

- (void)tapUIButtonAccessibilityLabel: (NSString *)lable VariableParameter: (NSString *)VariableParameter; 


// 半 击 输入 文本 控件 
(void)typeTextAccessibilityValue: (NSString *)lable TypeText: (NSString *)typeText VariableParameter: (NSString *)VariableParameter; 
// 单 击 输入 文本 控 件 
一 Fea *) lable TypeText: (NSString *)typeText VariableParameter: (NSString *)VariableParameter; 
// 单 击 搜索 控 
b EET. UITextFieldAccessibilityLabel: (NSString *)lable VariableParameter: (NSString *)VariableParameter; 
// 向 左 慢 E T£ 7R 骨 动 控件 
- (void)swipeSlowLeftAccessibilityLabel: (NSString *)lable VariableParameter: (NSString *)VariableParameter; 
// 坐 标 窗口 快速 向 上 滑动 
- (void)swipeFastUp: (NSString *)VariableParameter; 
// 坐 标 窗口 快速 向 下 滑动 
- (void)swipeFastDown: (NSString *)VariableParameter; 
// 坐 标 窗口 快速 向 左 滑动 
- (void)swipeFastLeft: (NSString *)VariableParameter; 
// 坐 标 窗口 快速 向 右 滑动 
- (void)swipeFastRight: (NSString *)VariableParameter; 
// 坐 标 窗 uie EA 
(void)swipeSlowUp: (NSString *)VariableParameter; 
/ Le 口 慢 速 向 下 滑动 
- (void)swipeSlowDown: (NSString *)VariableParameter; 
/PP 断 控件 是 否 存 在 
(BOOL)existElemetsAccessibilityLabel: (NSString *)lable VariableParameter: (NSString *)VariableParameter; 
/(h | 断 控 件 是 否 存 在 
(BOOL)existUIButtonElemetsAccessibilityLabel: (NSString *)lable VariableParameter: (NSString *)VariableParameter; 
/(h 断 控 件 不 存在 
(void)noExistLogElemetsAccessibilityLabel: (NSString *)lable VariableParameter: (NSString *)VariableParameter; 
"n | 断 控 件 存 在 


- (void)existLogElemetsAccessibilityLabel: (NSString *)lable VariableParameter: (NSString *)VariableParameter; 


只 要 熟悉 了 上 面 的 接口 ， 就 可 以 根据 自动 化 用 例 编写 自动 化 脚本 了 ， 都 是 固定 的 套路 。 


以 QQ 浏览 器 (iPhone) 视频 模块 的 自动 化 用 例 为 例 。 首 先 调 用 WriteUlTestLog 接 口 实现 用 例 描述 、 日 志 定位 、 脚 本 编号 。 然 后 调用 接口 实现 UI 控件 操作 。 例 如 点 击 搜索 或 者 输入 网 址 ， 看 电视 剧 等 一 
系列 操作 ， 脚 本 代码 如 下 所 示 : 


- (void)test111003 { 

// 查 看 各 个 视频 网 站 的 播放 情况 
[self WriteUITestLog:G"MttVedioScript" scriptName:@"111003" scriptDescription: Q@" 查 看 土豆 视频 网 站 的 播放 情况 "] ; 
[self sleepForMoments:1]; 
[self tapUITextFieldAccessibilityLabel:Q"4£ & Ap Jib" VariableParameter: G"StepName= 点 击 搜索 或 输入 网 址 "] ， 
[self typeTextAccessibilityValue:Q" 4g 4 JU | ab" TypeText : Q"www.tudou.comMn 
" VariableParameter:("StepName-4g R Lg W"]; 
[self tapAtPoint:172 PointY:219 VariableParameter:e"StepName= 点 击 首页 精 选 "] ; 
[self tapAtPoint:187.5 PointY:229 VariableParameter:("StepName-, jk 5 Ji d i S3 &sLogLevel-WARN&SleepTime-5"]; 
[ f tapAccessibilityLabel:Q"/2iÉ" VariableParameter:QG"StepName-iA w] i 9g W"]; 
[self tapAccessibilityLabel:Q"/2iÉ" VariableParameter:QG"StepName-iA M 4"]; 


完整 的 一 个 脚本 如 上 面 代码 所 示 ， 我 们 就 可 以 执行 脚本 ， 验 证 测试 功能 了 


64.2 ”配置 文件 


这 主要 是 自动 化 测试 框架 嵌入 被 测试 App 工 程 中 与 Xcode 编译 时 的 配置 信息 ， 基 本 都 是 保持 原 定 的 思路 ， 只 是 在 遇 到 不同 的 系统 时 ， 可 能 需要 选择 适 配 信 息 。 以 最 新 的 iOS 10 系 统 编译 为 例 ， 需 要 设置 
最 新 的 OS 版 本 信息 。 配 置 文 件 如 图 6-13 所 示 ， 框 内 选择 为 OS 10.0 即 可 。 


Y Deployment 
Setting ka EarlgreyTests 


Additional Strip Flags 
Alternate Install Group staff 
Alternate Install Owner corincheng 
Alternate Install Permissions u*w,go-w,a*rX 
Alternate Permissions Files 
Deployment Location No ~ 
Deployment Postprocessing No 
Install Group staff 
Install Owner corincheng 
Install Permissions u*W,go-w,a*rX 
Installation Build Products Location /tmp/mtt.dst 
Installation Directory 
Resources Targeted Device Family 
Skip Install Yes 7 
Strip Debug Symbols During Copy No 
Strip Linked Product Yes 7 
Strip Style Non-Global Symbols $ 
Targeted Device Family 1$ 

arate Strip No > 


tvOS Deployment Target 
watchOS Deployment Target 


图 6-13 ”配置 文件 图 


6.4.3 日 志 分 析 系 统 


本 模块 主要 用 于 iOS 自 动 化 测试 框架 的 日 志 系 统 ， 实 现 日 志 生 成 、 分 析 、 展 示 、 邮 件 等 功能 。 其 主要 分 为 两 大 部 分 : 一 是 基于 iOS 测 试 框架 的 日 志 生 成 模块 ， 其 主要 在 iOS 终 端 设备 或 者 在 模拟 器 上 执行 


任务 ; 二 是 将 分 布 在 各 设备 上 的 日 志 上 传 到 日 志 分 析 平 台 并 进行 集中 分 析 ， 按 照 任务 、 脚 本 分 类 ， 生 成 HTML 格 式 并 进行 展示 。 


具体 的 分 析 流 程 如 图 6-14 所 示 。 


i0S 自 动 化 分 布 式 日 志 系 统 流程 图 


日 志 分 析 


日志 驱动 案 合 日 志文 件 
日 志 信 息 获取 


聚合 判断 
测试 框架 日 志 nm Q 


日 志清 洗 队 列 
发 送 日 志 消 息 
日 志 类 型 分 析 


EU 日 志 头 正则 分 析 Í 日 志 正 文正 则 分 析 日 志 结束 正则 分 析 


设备 自动 嗅 探 上 传 日 志 
日 志 步 骤 分 解 日 志 缓存 池 
生成 日 志 信息 
html 缓 存 队 列 xml 了 驱动器 


日 志 任务 聚合 


日 志 级 别 识别 


日 志 分 类 


生成 xml 日 志 头 


组 合 html 日 志 日 志 步 又 分 析 


写 人 日 志 队 列 生成 xzml 内 容 


任务 /单个 生成 单个 日 志 
写 入 日 志 缓 存 xml 


单个 日 志 


日 志 xm] 绥 存 


总 体 日 志 生成 单个 生成 总 体 xml 
日 志 html 日 志 

生成 总 体 

html 日 志 


生成 日 志文 件 


日 志 分 析 结 束 


图 6-14 日 志 分 析 系 统 流程 图 


步骤 1: 搭建 开发 环境 ， 配 置 好 iOS 自 动 化 测试 框架 。 执 行 脚 本 调用 日 志 驱 动 模 块 ， 该 模块 是 实现 日 志 触 发 功能 、hook 底 层 stdout、stderr 通 道 ， 获 取 到 系统 的 日 志 信 息 。 获 取 到 的 信息 会 根据 类 型 自动 
存 入 框架 日 志 队 列 ,或 者 被 测试 App 队 列 。 


步骤 2: 将 获取 到 的 日 志 信 息 分 成 两 类 ， 一 类 是 测试 框架 本 身 的 日 志 信 息 ， 然 后 执行 步骤 3。 


步骤 3: 根据 日 志 信息 ， 识 别 出 日 志 级 别 ， 按 照 脚 本 的 执行 步骤 分 解 日 志 信 息 ， 得 到 的 日 志 信 息 也 按照 脚本 步骤 记录 ， 然 后 标记 日 志 分 类 ， 将 整理 后 的 日 志 信息 写 入 日 志 队 列 。 如 果 是 框架 日 志 信 息 ， 则 
执行 步骤 4; 如果 是 被 测试 App 日 志 信息 ， 则 执行 步骤 5。 


步骤 4: 测试 框架 日 志 信 息 自动 识别 日 志 等 级 ， 日 志 信 息 按照 脚本 步 又 进行 分 解 ， 然 后 标记 上 日 志 细 分 类 信息 。 处 理 完成 后 写 入 统一 的 日 志 队列 ,执行 步骤 6。 


步骤 5: 被 测试 App 日 志 信 息 ， 需 要 测试 框架 向 被 测试 App 发 送 日 志 消息 ， 然 后 被 测试 App 回 调 日 志 接 口 ， 生 成 日 志 信息 ， 被 测试 App 返 回 日 志 信 息 ， 框 架 接口 获取 到 日 志 信息 ， 并 且 分 析 日 志 信息 ， 标 
记 好 日 志 分 类 、 日 志 级 别 、 对 应 的 脚本 步 又、 日 志 细 分 信息 ， 再 写 入 统一 的 日 志 信息 队列 ， 执 行 步骤 6 (步骤 4、 步 骤 5 可 能 同时 进行 ， 需 要 互 斥 加 锁 机 制 ) 。 


步骤 6: 写 入 统一 日 志 队列 的 日 志 信 息 ， 标 记 完 统一 识别 符 后 ， 写 入 日 志 缓存 队列 。 当 缓存 队列 满 的 时 候 ， 或 者 脚本 结束 的 时 候 ， 将 缓存 队列 的 日 志 信息 写 入 日 志文 件 。 
步骤 7: 将 不 同 设备 上 的 日 志 信 息 上 传 到 日 志 分 析 服 务 器 ， 进 行 日 志 分 析 。 


步骤 8: 日 志 监 控 线 程 会 每 隔 1 分 钟 扫描 日 志 目录 ， 检 查 是 否 有 新 日 志 生 成 ， 如 果 有 新 日 志 生 成 ， 则 从 服务 器 配置 文件 中 获取 服务 器 地 址 ; 如 果 没 有 ， 则 继续 轮 询 。 设 备 自动 向 服务 器 发 送 心跳 报 文 ， 然 
后 建 YTCP 长 连接 :如果 失 败 ， 则 继续 心跳 链接 ; 如 果 成 功 ， 则 获取 日 志 任务 ， 文 件 路 径 ， 组 装 报 文 信息 ， 即 发 送 带 GUID 的 设备 信息 报 文 ， 然 后 上 传 日 志 。 检 查 日 志 是 否 上 传 成 功 ， 失 败 则 继续 上 传 ， 成 功 
则 删除 设备 上 的 日 志 信息 文件 ， 然 后 天 闭 连接 ， 等 待 轮 询 时 间 ， 继 续 执行 日 志 监 控 。 


步骤 9: 日 志 分 析 驱 动 程序 ， 会 扫描 上 传 到 服务 器 的 所 有 日 志文 件 ， 然 后 将 所 有 日 志文 件 进行 分 类 标记 ， 聚 合 形成 日 志 索 引 列 表 。 


步骤 10: 根据 日 志 列 表 信 息 将 日 志文 件 依次 写 入 日 志清 洗 队列 ， 进 行 日 志清 洗 工作 ， 主 要 是 规范 各 个 日 志 的 样式 、 转 码 、 版 本 格式 统一 ， 以 及 去 掉 一 些 无 用 的 信息 。 主 要 方式 采用 正则 匹配 分 析 的 方 
式 ， 对 日 志 头 、 日 志 正 文 以 及 日 志 结束 标记 分 类 。 


步骤 11: 将 清洗 过 日 志 信息 压 入 日 志 缓存 池 ， 对 正文 内 容 直接 写 入 HTML 缓 存 队 列 执行 步骤 12， 对 于 日 志 头 信息 ， 结 束 标 记 信 息 。 经 过 XML 驱动 程序 的 处 理 ， 进 行 日 志 统计 信息 聚合 ， 生 成 XML 日 志 头 
信息 ， 日 志 脚 本 步骤 分 解 ， 生 成 XML 内 容 。 


步骤 12: 生成 单个 日 志 的 XML 信息 ， 直 接 写 入 HTML 缓 存 队列 ， 执 行 步骤 13。 同 时 将 单个 EML 日 志 信息 写 入 XML 日 志 缓存 队列 ， 生 成 总 体 的 XML 日 志文 件 ， 然 后 将 总 体 日 志 XML 信息 写 入 HTML 缓 存 处 
理 队列 ， 执 行 步 又 13。 


步骤 13: 根据 单个 日 志 XML 信 息 ， 生 成 单个 日 志文 件 的 HTML 页 面 ， 根 据 总 体 XML 日 志 信息 ， 生 成 总 体 的 HTML 日 志 统 计 页 面 。 然 后 将 总 体 日 志 页 面 统计 信息 链接 到 单个 日 志文 件 。 然 后 将 原 日 志 缓 存 
池 中 的 日 志 链 接 到 单个 步骤 信息 中 ， 方 便 查 看 处 理 前 的 日 志 远 文件 。 


日 志 分 布 式 上 传 日 志 分 析 服 务 器 的 自动 抓 取 功能 如 图 6-15 所 示 。 
从 图 6-15 可 以 看 出 ， 框 架 中 会 启动 框架 监控 线程 ， 每 隔 1 分 钟 的 时 间 会 自动 轮 询 手机 日 志 目 录 ， 查 看 时 如 果 有 完整 的 日 志 生成 ， 则 开始 上 传 日 志 到 日 志 分 析 系统 ， 分 析 日 志 信 息 。 
分 析 好 的 日 志 信 息 如 图 6-16 所 示 。 

志 详 细 信 息 如 图 6-17 所 示 ， 图 中 清楚 地 展示 出 了 每 个 步骤 的 详细 信息 ， 这 样 在 脚本 出 现 错误 的 时 候 ， 可 以 快速 定位 出 问题 所 在 。 日 志 记 录 还 包含 详细 的 性 能 时 间 与 详细 出 错 信息 。 
这 样 就 可 以 快速 定位 到 问题 所 在 。QQ 浏 览 器 (iPhone) 项 目 每 日 运行 118 个 脚本 ， 平 均 每 天 维护 和 定位 问题 的 时 间 不 超过 半 小 时 。 


当 执行 完 脚本 后 ， 会 有 邮件 总 结 脚本 执行 信息 ， 以 及 所 有 的 机 器 日 志 都 需要 上 传 到 文件 系统 ， 方 便 所 有 相关 人 员 查看 。 在 邮件 中 会 有 该 日 志 信 息 的 连接 ， 邮 件 形式 如 图 6-18 所 示 。 


设备 自动 上 传 日 志 流 程 图 
设备 框架 监控 
线程 


获取 配置 文件 问 服务 名 发 送 建立 TCP 长 
服务 伏地 址 连接 


服务 器 地 址 配置 TET 


获取 日 志 任 务 ， 
以 及 文件 路 径 


按时 间 间 隔 轮 训 


组 装 报 文 信息 3 
发 送 带 GUID 的 
设备 信息 


上 传 日 志文 件 
删除 设备 上 的 
日 志文 件 


图 6-15 ”终端 日 志 上 传 流 程 图 


MttNovelScript-2016-1 1-18-19-28-32:.. Nov 21 2016 09:34:46 GMT*0800 (中 国标 准时 间 ) 
T hours 21 minutes ago 
Test Report 


Summary Information 


2 critical tests failed 
20161118 19:34:08. 042 


20161118 19:34:49. 190 
00:00:41. 148 


Test Statistics 


Critical Tests — — — — — — — —  — y y y O 25 | 235 | 2 E 
AN Tests — — — — — — —  — [| 25 | 25 | 2 |Eumm UMP 


JtHovelScript-2016-11-18-19-28-32 — 1 1 1 11 11 (1| 25 | 23 | 2 | 时 
Test Details » 
Hik 日 志 JOS =A, 


MttNovelScript-2016-11-18-19-28-32 v 


25 critical test, 23 passed, 2 failed 


25 test total, 23 passed, 2 failed 
20161118 19:34:08.042 / 2016114 
00:00:41. 148 


查看 书架 ) 接 00:00:06 

MttHovelScript-2016-11-18-19-28-32. | (311002) BED [E 8 LOG E275 20161118 19:33:54 
GiT le yes 

. 311002 jx 


00:00:13 


| MAL mlC - TETTETETT ; E | 


WttHovelScri pt-2016-11-18-19-28-32 ; 

ee JOO i uL 
xk) 

WttHovelScript-2016-11-18-19-28-3? | (311005) BTE FHL E E 20161118 19:32:27 

. 311005 ( 吊 | 除 小 说 书架 书 荞 ) | 接 00:00:24 


317006 0 洛 史 小 i 书架 筷 ”| (311006) 脚 本 原始 LOG 日 志和 PASS EE 0 eara 
E WER i 00:00:11 


图 6-16 总 体 日 志 图 


我 们 只 关注 出 错 的 部 分 ， 然 后 确定 是 Bug 还 是 需求 变更 或 者 脚本 误 报 。 


6.4.4 ”风险 点 


一 定 要 保证 脚本 的 简洁 ,减少 误 报 ,或 者 在 有 误 报 的 时 候 制定 一 套 快速 的 响应 机 制 ， 保 证 解决 问题 的 快速 闭环 。 这 里 可 以 通过 保留 过 程 截图 的 方式 来 快速 获取 过 程 信息 ， 定 位 误 报 问 题 


[E] TEST. CASE: 312002 HF WRB) 
' Full Hame: WttNovelScript-2016-11-18-19-28-32. 312002 (H BMWMB) 
Doamentat ion: (312002) BE [8 LOG EJ 5 bá 


Tags: 
Start / End / Elapsed: 20161118 19:35:10.022 / 20161118 19:35:31.446 / 00:00:21. 424 
Status: FAIL (critical) 


C 统计 结果: OR EUAUESETHHO : 14. (失败 匹配 步骤 个 数 ) : 3 
Start / End / Elapsed: N/A / N/A / 00:00:00.000 
: qp ended 
: 2: 进 六 小 项 书架 
: 3: 切 换 小 硕 书 架 为 列表 模式 
: 4LKEE C BERE 


[PASS] - "[2016-11-18 19:35:14.198]-[INFO]-[STEP N0-4 DESCRIPTION-j«[k — Bi: v» 4E 1 " 
[ERROR] - "[2016-11-18 19:35:14. 222]-[ERROR]- [FÆR 控件 没有 找到 not found]" 


BE DH 
Start / End / Elapsed: 20161118 19:35:14.198 / 20161118 19:35:15.246 / 00:00:01.048 


O $31: 5: EG MER RHT 


Docunentati on: [PASS] - "[2016-11-18 19:35:15.246]-[INFO]-[STEP N0-5 DESCRIPTION- HME] 
[ERROR] - "[2016-11-18 19:35:15.2869]-[ERROR]- [BP 控件 没有 找到 not founa]" 


截屏 图 像 链 接 
Start / End / Elapsed: 20161118 19:35:15.246 / 20161118 19:35:16.291 / 00:00:01.045 


OR: 6:3&FEMMERBDA- 1S RSE TE PE 


Docunentati on: [PASS] - "[2016-11-18 19:35:15.291]-[INFO]-[STEP N0-6 DESCRIPTION) IRRE RERE] 
[ERROR] - "[2018-11-18 19:35:16.314]- [EREOR]- [MIRRA PE iT PE 控件 没有 找到 not founa]" 


BE bi 
Start / End / Elapsed: 20161118 19:35:16.291 / 20161118 19:35:17.336 / 00:00:01.045 
A 535: T: 
F 531: 8: 上 滑 书 架 列表 页 面 
[T] 31: 9: 切 换 小 说 书架 为 宫 格 模式 


图 6-17 详细 日 志 图 


重建 顶 目 评 开 信息 


ET 
Vr MM MN 
I— n MM 
N5UBRhoe6OS92 — OoOo 


3  (2016091021:05:01.81720160910 21:07:51.77175.096 — 
搜索 (0 到 [20160910 20:50:57.59920160910 20:54:04.406100096 — 
今日 头条 9 |20160910 20:30:05.072|20160910 20:35:08.95790.096 
TOP100 站 点 检测 0 (20 [20160910 20:19:30.380|20160910 20:30:01.334100.0% — 
RBE 0 后 |2016091020:06.54.859|20160910 20:09:41.828/100.0% — 
主页 feeds 9 |20160910 20:11:24.860|20160910 20:19:26.64490.096 
主 Rfeeds 0 [20160910 20:54:29.916/20160910 20:57:42.638100096 — 
视频 —— 8 | 2 20160910 20:57:46.62420160910 21:04:39.558/66.6796 — | 


详细 脚本 执行 统计 信息 


mm 
= m 20160910 20160910 
wa mos. 查看 土豆 视频 网 站 的 播放 情况 20:57:46.624 21:01:00.989 
20160910 20160910 
TH ^ 
主 册 feeds 简 版 QB 设 置 跳 转 到 FEEDS 20:15:11.258 20:15:38.311 
n" 20160910 20160910 
今日 头条 而 内 容 签 
今日 头条 将 正文 页 内 容 保存 为 书 20:34:18.918 20:34:36.040 


- 20160910 20160910 
夜间 模式 ， 修 改行 距 ,更 多 设置 20:44:05.692 20:44:12.268 


图 6-18 ”邮件 通知 信息 截图 


y 20160910 20160910 
HERINSS-MITI 21:05:26.120 21:05:45.723 


344004 


6.5 “截图 智能 分 析 


本 节 主 要 介绍 QQ 浏览 器 (iPhone) 项 目测 试 使 用 的 截图 自动 对 比 功能 ， 自 动 化 的 结果 大 部 分 都 是 截图 ， 如 果 要 人 工 查 看 截图 信息 ， 效 率 比 较 低 下 ， 所 以 我 们 采用 了 图 片 智 能 分 析 结 果 ， 这 样 就 大 大 提 
高 了 分 析 问 题 的 效率 。 下 面 采 用 的 是 Opencv 智 能 框架 ， 识 别 准确 率 为 100%， 快 速 有 效 。 


6.5.1 OpenCV 简 介 


计算 机 视觉 是 在 图 形 处 理 上 发 展 起 来 的 一 门 科 学 ， 而 OpenCV 则 是 一 个 开源 的 功能 强大 的 视觉 图 形 处 理 库 。OpenCV 是 Intel 公 司 支持 的 开源 计算 机 视觉 库 。 它 轻 量 级 而 且 高 效 一 一 由 一 系列 C 函 数 和 少 
量 C++ 类 构成 ， 实 现 了 图 像 处 理 和 计算 机 视觉 方面 的 很 多 通用 算法 。 它 主要 包括 应 用 人 机 互动 、 物 体 识别 、 图 像 分 割 、 人 脸 识别 、 动 作 识 别 、 运 动 跟踪 、 机 器 人 。 我 们 只 是 使 用 了 图 片 识别 中 的 模式 识别 功 


能 。 
6.5.2 ”OpenCV 模 板 识 别 


模板 匹配 是 在 一 幅 图 像 中 寻找 一 个 特定 目标 的 方法 之 一 。 这 种 方法 的 原理 非常 简单 ， 饥 历 图 像 中 的 每 一 个 可 能 的 位 置 ， 比 较 各 处 与 模板 是 否 相似 ， 当 相似 度 足 够 高 时 ， 就 认为 找到 了 我 们 的 目标 。 


在 OpenCVv 中 ， 提 供 了 相应 的 函数 完成 这 个 操作 。matchTemplate 函 数 : 在 模板 和 输入 图 像 之 间 寻 找 匹 配 ， 获 得 匹配 结果 图 像 。minMaxLoc 函 数 : 在 给 定 的 矩阵 中 寻找 最 大 值 和 最 小 值 ， 并 给 出 它们 
的 位 置 。 在 具体 介绍 这 两 个 函数 之 前 ， 我 们 还 要 介绍 一 个 概念 ， 就 是 如 何 来 评价 两 幅 图 像 是 否 相 似 。OpenCV 提 供 了 六 种 计算 两 幅 图 像 相似 度 的 方法 由 。 


1. 平 方差 匹配 CV_TM_SQDIFF 


这 种 方法 利用 图 像 与 模板 各 个 像素 差 值 的 平方 和 来 进行 匹配 ， 最 好 匹配 为 0。 匹 配 越 差 ， 匹 配 值 越 大 。 实 现 公 式 如 下 : 


Rœ, y)= (TC, y) -LGcxs y y)y 
x y 


2. 标 准 平方 差 匹配 CV_TM_SQDIFF NORMED 


这 种 方法 与 差 值 平方 和 算法 类 似 ， 只 是 对 图 像 和 模板 进行 了 标准 化 操作 ， 公 式 如 下 : 


(T(x'; y) - Hx x’, yy)y 


F F 
E ! 
X, 


2. TG: »Y 2, atx’ y+y'y 


这 种 标准 化 操作 可 以 保证 当 模板 和 图 像 各 个 像素 的 亮度 都 乘 上 同一 个 系数 时 ， 相 关 度 不 发 生变 化 。 也 就 是 说 ， 当 | (x, y) 和 T (x, y) 5 


R(x, y)— 


变 为 kxl (x, y) 和 kxT (x, y) Bj, R (x, y) 不 发 生变 化 。 


3. 相 关 匹配 CV_TM CCORR 


这 种 方法 采用 模板 和 图 像 的 互相 关 计 算 作为 相似 度 的 度量 方法 ， 数 越 大 表示 匹配 程度 越 高 ，0 表 示 最 坏 的 匹配 效果 。 


R(x,y)—  (T(x,y') XI(x--x' yTy") 
x. y' 


4 .标准 相关 匹配 CV_TM CCORR NORMED 


这 种 方法 与 标准 化 差 值 平 方 和 匹配 类 似 ， 都 是 去 除了 亮度 线性 变化 对 相似 度 计算 的 影响 。 可 以 保证 图 像 和 模板 同时 变 亮 或 变 暗 k 倍 时 结果 不 变 。 公 式 如 下 : 


(T (x', y ) X Fx x^ yty") 


af F 
X.V 


R(x, y) — 
> TQ yy Itr, yy? 


F F F F 
X^, y x, y 


5. 相 关 匹 配 CV_TM CCOEFF 


这 种 方法 也 叫 相关 匹配 ， 但 是 与 上 面 的 CV_TM_CCORR 匹 配方 法 还 是 有 不 同 的 。 简 单 来 说 ， 这 里 是 把 图 像 和 模板 都 减 去 了 各 自 的 平均 值 ， 使 得 这 两 幅 图 像 都 没有 直流 分 量 。 公 式 如 下 : 


R(x, 一 之 (TC y") * 16x yy?) 
T'(*, y') =T, y') Iw * h) * 2, TG", y") 


I' (xx, yy!) 24e x', yy!) Vw * h) * 2, Ix x", yy") 


"n. m 


X y 


6. 标 准 相关 匹配 CV_TM_CCOEFF NORMED 
就 是 在 减 去 了 各 自 的 平均 值 后 ， 还 要 各 自 除 以 各 自 的 方差 。 经 过 减 去 平均 值 和 除 以 


这 是 OpenCV 支 持 的 最 复杂 的 一 种 相似 度 算法 。 这 里 的 相关 运算 就 是 数理 统计 学 科 的 相关 系数 计算 方法 。 具 体 来 说 ， 
。 计 算出 的 相关 系数 被 限制 在 了 - 1 到 1 之 间 ，1 表 示 完 全 相同 ， - 1 表示 两 幅 图 像 


方差 这 两 步 操 作 之 后 ， 无 论 是 我 们 的 待 检 图 像 还 是 模板 都 被 标准 化 ， 都 可 以 保证 图 像 和 模板 分 别 改变 光照 都 不 影响 计算 结果 
的 亮度 正好 相反 ，0 表 示 两 幅 图 像 之 间 没 有 线性 关系 。 实 现 公式 如 下 : 


2 (TG y!) * Gc yy?) 
x. y 


R(x, y)— 


Y TG yy E ratr, yty) 
x, y' x', y' 


6.5.3 ”OpenCV 实 践 过 程 
1. 模 板 对 比 实例 


有 一 个 每 日 头条 界面 截图 如 图 6-19 所 示 。 


E 每 日 头条 


BUR ”搞笑 ” 微 信 Xm 军事 88 


已 为 您 推荐 11 篇 文章 


SARA 397 评 


老 徐 时 评 : 常 小 兵 被 双开 背 
后 的 玄机 


应 采 儿 把 儿子 捧 在 手心 : H 
是 想 自 己 代 他 病 


L| 


视频 Bund gn 


男子 运 西瓜 与 火车 相 撞 当场 身亡 


4 > 一 (^) [1] 


图 6-19 每 日 头条 界面 截图 


我 们 的 模板 匹配 图 如 图 6-20 所 示 。 


图 6-20 ”匹配 模板 图 


这 时 就 需要 在 截图 中 匹配 模板 图 片 。 
2. 模 板 匹 配 实现 方式 


采用 的 算法 是 标准 相关 匹配 CV_TM_CCOEFF_NORMED。 该 算法 能 够 快速 准确 地 匹配 出 模板 图 片 ， 实 现代 码 如 下 : 


def find(self,templateimg,threshold-0.945): 
flag - False 
for source img in self.sourceimg: 
template — cv2.imread(source img) 
if os.path.isfile(templateimg) == False: 
return flag 
image = cv2.imread (templateimg) 
*$result = cv2.matchTemplate (image, template,cv2.cv.CV TM CCOEFF NORMED) 
result = cv2.matchTemplate (image, template,cv2.TM CCOEFF NORMED) 
similarity = cv2.minMaxLoc (result) [1] v B 
if similarity < threshold: 
continue 
else: 
return np.unravel index (result.argmax(),result.shape) 
print 'similaritydtHHHHHHHHE' , similarity 
print 'source imgfiHHHHHHHHE' source img 
flag = True 
break 
return flag 


3. 图 片 处 理 方式 


合适 的 图 片 处 理 对 模板 识别 有 非常 大 的 好 处 ， 对 于 效率 的 提高 有 很 大 的 帮助 。 图 片 处 理 方式 代码 如 下 : 


def filter matches(self, kpl, kp2, matches, ratio = 0.75): 
mkpl, mkp2 = [], [] 
for m in matches: 
if len(m) == 2 and m[0].distance < m[1].distance * ratio: 
m = m[0] 


mkpl.APPend( kpl[m.querylàx] ) 
mkp2.APPend( kp2[m.trainIdx] ) 
pl = np.float32([kp.pt for kp in mkpl]) 
p2 = np.float32([kp.pt for kp in mkp2]) 
kp pairs = zip(mkpl, mkp2) 
return pl, p2, kp pairs 


def explore match (self, win, imgl, img2, kp pairs, status = None, H = None): 


hl, wl = imgl.shape[:2] 

h2, w2 — img2.shape[:2] 

vis = np.zeros((max(hl, h2), wl+w2), np.uint8) 
vis[:hl, :wl] = imgl 

vis[:h2, wl:wl+w2] = img2 


vis = cv2.cvtColor(vis, cv2.COLOR GRAY2BGR) 
if H is not None: E 
corners = np.float32([[0, 0], [w1, 0], [w1, h1], [0, h1]]) 
corners = np.int32( cv2.perspectiveTransform(corners.reshape(1, -1, 2), H).reshape(-1, 2) + (w1, 0) ) 
cv2.polylines(vis, [corners], True, (255, 255, 255)) 
if status is None: 
status = np.ones(len(kp pairs), np.bool ) 
pl = np.int32([kpp[0].pt for kpp in kp pairs]) 
p2 = np.int32([kpp[1].pt for kpp in kp pairs]) + (wl, 0) 
green = (0, 255, 0) 
red = (0, O0, 255) 
white = (255, 255, 255) 
kp color = (51, 103, 236) 
for (xl, yl), (x2, y2), inlier in zip(pl, p2, status): 
if inlier: 
col = green 
cv2.circle(vis, (xl, yl), 2, col, -1) 
cv2.circle(vis, (x2, y2), 2, col, -1) 


~ 


~ 


else: 
col = red 
r=2 
thickness = 3 
cv2.line(vis, (xl-r, yl-r), (xl+r, yl+r), col, thickness) 
cv2.line(vis, (xl-r, yl*r), (xl+r, yl-r), col, thickness) 
cv2.line(vis, (x2-r, y2-r), (x2+r, y2+r), col, thickness) 
cv2.line(vis, (x2-r, y2*r), (x24r, y2-r), col, thickness) 
vis0 = vis.copy() 
for (xl, yl), (x2, y2), inlier in zip(pl, p2, status): 
if inlier: 
cv2.line(vis, (xl, yl), (x2, y2), green) 
cv2.imshow(win, vis) 
def onmouse(self, event, x, y, flags, param): 
cur vis = self.vis 
fmc = FindMatchCommon() 
if flags & cv2.EVENT FLAG LBUTTON: 
cur vis = self.visO.copy() 
r-8 
m = (fmc.anorm(self.pl - (x, y)) < r) | (fmc.anorm(self.p2 - (x, y)) < r) 
idxs = np.where (m) [0] 
kpls, kp2s = [], [] 


for i in idxs: 
(x1, yl), (x2, y2) = self.pl[i], self.p2[i] 
col = (self.red, self.green)[self.status[i]] 
cv2.line(cur vis, (x1, yl) (x2, y2), col) 
kpl, kp2 = self.kp pairs[i 
kpls.APPend(kpl) 
kp2s.APPend (kp2) 
cur vis = cv2.drawKeypoints (cur vis, kpls, flags-4, color-self.kp color) 
cur vis[:,self.wl:] = cv2.drawKeypoints (cur vis[:,self.w1:], kp2s, flags-4, color-self.kp color) 
cv2.imshow(self.win, cur vis) B 
cv2.setMouseCallback(self.win, fmc.onmouse) 
return self.vis 


| 


采用 OpenCV 模 板 匹 配 可 以 大 大 提供 图 片 识别 的 对 比 效率 和 准确 度 ， 大 大 提高 了 结果 识别 的 速度 。 


6.6 ”自动 化 持续 集成 
做 好 了 自动 化 测试 框架 ， 最 佳 实践 方式 就 是 接 入 持续 集成 ， 每 日 自动 构建 和 启动 测试 。 测 试 框架 持续 集成 采用 的 工具 是 Jenkins。 
6.6.1 Jenkins 简 介 


Jenkins 起 源 于 Hudson， 占 据 了 很 大 的 市 场 份额 ， 可 被 各 种 大 小 团队 和 使 用 不 同 语言 CNET, Ruby, Groovy, Grails, PHP) 开发 的 项 目 使 用 。 优 点 为 : 易 用 性 、 可 扩展 。 插 件 覆 盖 了 版 本 控制 系 
统 、 构 建 工 具 、 代 码 质 量度 量 工具 、 通 知 工具 、 其 他 外 部 系统 进行 集成 、UI 自 定义 、 活 跃 的 社区 、 稳 定 版 本 的 支持 、Long-term Support (LTS) 发 布 。 


6.6.2 Jenkins 特 点 


Jenkins 是 一 个 开源 的 且 基 于 Java 代 码 开发 的 持续 集成 系统 ， 因 为 含有 非常 丰富 的 插件 支持 ， 所 以 可 以 方便 打通 版 本 库 、 测 试 构建 环境 、 线 上 环境 的 所 有 环节 。 


Java 应 用 常用 在 企业 的 软件 构建 过 程 中 ，Java 的 应 用 工程 稍 显 复杂 ， 由 于 复杂 构建 和 代码 上 线 并 且 服 务 的 重启 ， 整 个 过 程 下 来 ， 消 耗 的 时 间 较 多 ，Jenkins 却 能 很 好 地 集成 maven 的 编译 方式 ， 且 利用 自 
动 化 的 插件 与 自 定义 开发 脚本 的 支持 。 所 以 ， 目 前 广泛 应 用 于 java 工程 的 持续 集成 平台 。 下 面 介绍 如 何 搭建 一 套 快速 有 效 的 Jenkins 持 续集 成 平台 。 


6.6.3 ”使 用 方式 


Jenkins 可 以 通过 将 tomcat 作 为 容器 安装 。 由 于 Jenkins 包 自 带 servlet， 所 以 只 需要 下 载 安装 就 可 以 直接 启动 。 
步骤 1: 下 载 War 包 。 官 方 地 址 下 载 为 http://mirrors.jenkins-ci.org/war-stable/。 
步骤 2: 启动 Jenkins java-jar./jenkins.war--httpPort=8080。 测 试 确认 终端 启动 的 输出 日 志 正 常 ， 并 用 浏览 器 访问 测试 环境 的 服务 ， 地 址 为 http://IP+8080。 


步骤 3: 进入 安装 界面 ， 如 图 6-21 所 示 。 


Customize Jenkins 


Plugins extend Jenkins with additional features to support many different needs. 


Install suggested 


Select plugins to 


plugins install 


Install plugins the Jenkins 
community finds most 
useful. 


Select and install plugins 
most suitable for your needs. 


图 6-21 Jenkins 安 装 界面 


步骤 4: 进入 Getting Started 界 面 ， 如 图 6-22 所 示 。 


Getting Started 
s 


OWASP Markup Folders Plugin 


w^ Folders Plugin 


Timestamper 


*3 Pipeline 


Subversion Plug-in 


Formatter Plugin 
Workspace Cleanup 
Plugin 

GitHub Organization 
Folder Plugin 


SSH Slaves plugin 


build timeout plugin 


Ant Plugin 


Pipeline: Stage View 
Plugin 
Matrix Authorization 


Strategy Plugin 


Credentials Binding 
Plugin 


Gradle Plugin 


Git plugin 


PAM Authentication 
plugin 


LDAP Plugin Email Extension Plugin Mailer Plugin 


图 6-22 Getting Started 
步骤 5: 插件 安装 。 
如 果 安 装 时 没有 安装 好 对 应 的 插件 ， 可 以 选择 如 下 方式 进行 插件 的 安装 。 
如 果 服 务 器 可 以 上 网 ， 那 么 可 以 选择 在 线 安装 。 安 装 流程 为 :系统 管理 (Configure System) 一 插件 管理 (Manage Jenkins) 一 选择 需要 的 插件 直接 安装 即 可 。 


. 如 果 服 务 器 不 能 上 网 ， 那 么 选择 离线 安装 ， 首 先 去 http://updates.jenkins-ci.org/download/plugins/ 下 载 需 要 的 plugin， 选 择 匹 配 的 版 本 号 ， 然 后 打开 : 系统 管理 () 一 插件 管理 一 高 级 一 找到 “上 传 插 
件 ” (浏览 ， 找到 扩展 名 为 .hpi 的 插件 ， 上 传 之 后 默认 安装 了 ) 。 重 启 jenkins， 安 装 的 插件 就 可 以 使 用 了 。 


6.6.4 配置 Job 


在 Jenkins 中 ， 构 建 项 目 以 Job 的 形式 存在 ， 因 此 需要 针对 每 个 项 目 创建 一 个 Job。 有 时 候 ， 一 个 项 目 中 可 能 有 多 个 分 支 同 时 在 进行 开发 ， 为 了 分 别 进行 构建 ， 也 可 以 针对 每 个 分 支 创建 一 个 Job。 
Jenkins 的 Job 配 置 如 图 6-23 所 示 。 


丢弃 旧 的 构建 
保持 构建 的 天 数 1 


如 果 非 空 ， 构 建 记 录 将 保存 此 天 数 
保持 构建 的 最 大 个 数 10 


如 果 非 空 ， 最 多 此 数目 的 构建 记录 将 被 保存 


| Capture build context information 

.) 启用 项 目 安全 

| 参数 化 构建 过 程 

.) Sidebar Links 

.] 停止 构建 (直到 允许 项 目 构建 ,否则 不 能 进行 新 的 构建 ) 
| 在 必要 的 时 候 并 发 构建 


Restrict where this project can be run 


Label Expression iphoneQQBrower-New-Monitor-2nd 


高 级 项 目 选项 


源码 管理 

O cvs 

Q None 

(© Subversion 

构建 触发 器 

_ | 在 其 他 项 目 构建 完成 后 才 执行 构建 
_」 触发 远程 构建 (例如 ,使 用 脚本 ) 
Build periodically 


日 程 表 H 0-23/1 * * * 


| Poll SCM 


构建 环境 
~) Abort the build if it's stuck 
. ) Add resource to manage exclusion 


_ | Add timestamps to the Console Output 
') Run buildstep before SCM runs 


构建 
=: Execute shell 


Command |/Users/chunlincheng/Desktop/UITest/iOS Video Sniff/video sniff.sh 


图 6-23 Job 配置 图 


Job 调 度 图 如 图 6-24 所 示 。 


Jenkins 


Jenkins ”手机 QQ 浏览 器 iPhoneQQBrower-Video-sniff-monitor-2 


Project iPhoneQQBrowe 


Q, Job confiquration 


Q | 
Job configuration | 三 最 近 变 更 集 
Rh -29 conrguradon gO 
Lo 


Build History 
#105 (连接 等 待 中 - Build #104 is already in progress L3 永久 连接 


(ETA:38 分 ) ) 。 Last build(4104),48 分 前 
#104 2016-9-24 17:37:37 e Last stable build(#103),2 小 时 14 | 


SE] ij e Last successful build( £103),2 小 时 14 2» 


#103 2016-9-24 16:12:05 
#102 2016-9-24 14:43:10 
#101 2016-9-24 13:18:07 
#100 2016-9-24 11:51:33 
#99 2016-9-24 10:23:43 
#98 2016-9-24 8:57:25 
2016-9-24 7:30:17 
#96 2016-9-24 6:04:13 
2016-9-24 4:35:22 
#94 2016-9-24 3:09:06 


C 


C 


CcocctcttctcccocoC 


图 6-24 Job 调 度 


Job 驱 动 脚本 每 日 执行 ， 其 脚本 配置 文件 如 图 6-25 所 示 。 


1 Ziphonef4j£hd s. 

2 

3 # 

4 # clean result directory 

5 # 

6 pathz"$HOME/Desktop/UITest/QQBrower" 

7 10S_log_path=$HOME/Desktop/UITest/i0S_ Log_Proj]/ConfigureTranslate 
8 #-derivedDataPath $path 

9 #/Users/corincheng/Desktop/qb_trunk/UITEST_CODE_3.0/src/MttBrowser 


10 


11 #python /Users/corincheng/Downloads/canoe v1.19/Resources/SVN CANC 

12 xcodebuild -workspace /Users/corincheng/Desktop/qb trunk/iOS UITes 
destination 'name-iPhone 6' -derivedDataPath $path 

13 4&xcodebuild -workspace /Users/corincheng/Desktop/qb. trunk/1i0OS, UIT& 
destination '0S-10.1,name-iPhone 7' -derivedDataPath $path tes 

14 4xcodebuild -project /Users/corincheng/Desktop/qb, trunk/10S UITest 
UIWebView -destination 'name-iPhone 6' -derivedDataPath $path 

15 python $10S log path 


图 6-25 ”脚本 驱动 配置 图 


至 此 ， 自 动 化 持续 集成 平台 搭建 完毕 ， 我 们 配置 的 是 每 日 出 包 自 动 触发 自动 化 脚本 ， 然 后 执行 脚本 ， 形 成 每 日 持续 集成 ， 不 用 人 工 干 预 ， 大 大 提高 了 自动 化 测试 效率 。 


6.7 ”自动 化 实践 效果 
本 节 主 要 介绍 QQ 浏览 器 (iPhone) 自动 化 实践 的 效果 。 将 从 以 下 几 个 维度 探讨 自动 化 实施 的 效果 : 部 署 情况 、 投 入 产 出 比 、 运 营 数据 情况 。 
6.7.1 部署 情况 


目前 在 二 次 开发 的 基础 上 实现 了 iOS 平 台 上 自动 化 测试 。 研 发 阶段 每 日 运行 自动 化 : UI 功能 测试 (同步 启动 内 存 泄漏 扫描 、 静 态 代 码 扫 描 ) 。 线 上 版 本 24 小 时 监控 : 浏览 器 资讯 加 载 监 控 (UI+ 接 口 ) 、 
浏览 器 视频 可 播 监控 (UI+ 接 口 ) 。 从 部 署 情况 来 看 ， 框 架 适 用 场景 非常 多 ， 基 本 能 满足 测试 需要 。 接 下 来 的 投入 产 出 比 和 运营 数据 的 讨论 ， 就 以 UI 功能 自动 化 测试 (又 称 BVT) 为 例 进行 讲解 。 


6.72 RAHE 


投入 产 出 比 的 问题 要 看 两 个 方面 ， 好 比 天 平 的 两 端 ， 一 羡 是 投入 ， 一 端 是 产 出 。 得 产 出 重 过 投入 才 是 一 个 好 项 目 ， 值 得 长 期 运营 。 投 入 产 出 比如 图 6-26 所 示 。 


一 次 性 成 本 + 线性 成 本 


图 6-26 ”投入 产 出 比 图 


从 图 6-26 可 以 看 出 ， 我 们 的 投入 成 本 可 以 分 成 两 块 ， 分 别 是 一 次 性 成 本 和 线性 成 本 。 


一 次 性 成 本 : 框架 研发 (1 个 人 2 个 月 ) + 配置 和 部 署 (4 人 0.5 天 ) + 学 习 成 本 (3 人 1 天 ) 。 一 次 性 成 本 主要 消耗 在 框架 的 研发 上 ， 以 及 测试 人 员 的 初始 培训 上 ， 后 续 只 有 新 加 入 测试 人 员 才 会 增加 这 个 
成 本 。 事 实证 明 ， 在 一 次 性 成 本 上 的 投入 非常 值 当 ， 好 的 框架 可 以 保证 提高 后 期 运 维 阶段 的 稳定 性 和 使 用 的 简易 性 。 


线性 成 本 : 自动 化 用 例 编 写 (平均 14 分 钟 / 条 ) ， 每 日 需要 维护 的 成 本 (8 分 钟 ) 。 线 性 成 本 随 着 时 间 的 推移 可 能 会 发 生变 化 ， 例 如 自动 化 用 例 随 着 测试 人 员 的 熟练 程度 ， 单 条 用 例 的 编写 时 间 会 减少 ， 
每 日 需要 维护 的 成 本 随 着 用 例 数 的 增多 和 需求 变动 的 增多 会 增高 ， 这 些 都 在 预期 范围 内 。 


产 出 主要 从 客观 和 主观 两 方面 进行 评估 。 


客观 : 前 置 Bug 暴 露 时 间 。BVT 每 日 运行 ， 因 此 总 会 提前 于 正式 提 测 前 暴露 问题 。 目 前 是 部 署 在 主线 上 ， 主 线 的 提 测 频率 大 约 40 天 能 提 测 10 次 左右 ， 即 平均 差不多 4 天 才能 提 测 一 次 ， 一 旦 BVT 发 现 问 
题 ， 平 均 能 前 置 3 天 发 现 。 由 于 数量 是 以 平均 值 来 算 ， 因 此 只 能 大 约 估 值 ， 例 如 发 现 了 29 次 问题 ， 前 置 时 间 就 是 29x3 天 = 87 天 。 


减少 提 测 拒绝 次 数 ， 节 省 人 力 时 间 成 本 。 由 于 BVT 里 的 自动 化 用 例 全 部 是 基础 核心 用 例 ， 一 旦 出 现 运 行 问题 ， 就 是 不 符合 准 入 测试 标准 的 。 在 没有 BVT 的 时 代 ， 提 测 前 都 是 以 开发 手工 自 测 和 测试 手工 
验证 的 方式 进行 ， 一 旦 发 现 不 符合 测试 条 件 的 gug， 就 会 打 回 ， 在 这 种 情况 下 就 会 消耗 不 少 的 人 力 和 时 间 。 有 了 BVT 后 ， 开 发 可 以 自己 运行 自动 化 脚本 做 基础 功能 自 测 ， 测 试 每 日 监控 也 在 运行 检测 。 目 前 
手工 运行 一 遍 自动 化 的 用 例 大 约 需要 200 分 钟 ， 机 器 在 夜晚 用 60 分 钟 就 能 搞定 ， 每 个 版 本 的 拒 测 次 数 大 约 是 2 次 。 如 果 用 狂 野 的 算法 应 该 是 节约 了 200x2 = 400 分 钟 ， 低 调 点 的 算法 应 该 是 “从 开始 测试 到 发 
现 导 致 拒 测 的 Bug 所 用 的 时 间 ”x 拒 测 次 数 ， 但 是 这 个 数据 暂 不 考虑 。 


主观 : 为 什么 要 放 上 主观 收益 呢 ” 因为 客观 上 节省 了 时 间 。 和 总 之 自动 化 的 部 署 大 大 提高 了 测试 在 项 目 组 的 影响 力 ， 从 此 iOS 上 的 测试 从 纯 手工 运 入 了 新 时 代 ， 每 日 版 本 质量 也 有 了 持续 稳定 的 检验 ， 全 项 
目 组 的 内 心 也 更 加 淡定 了 。 


6.7.3 ”运营 数据 


图 6-27 所 示 的 是 BVT 每 日 发 现 问题 的 统计 ， 线 条 确认 是 Bug 的 数量 ， 从 自动 化 每 日 报 出 来 的 问题 可 以 看 出 两 线 基本 重合 的 点 比较 多 ， 这 反映 了 误 报 率 相对 维持 在 一 个 比较 低 的 水 平 。 


发 现 的 问题 中 主要 分 为 三 类 (图 6-28) ， 分 别 是 误 报 (因为 脚本 的 稳定 性 导致 的 ) 、Ul 变 动 (包含 被 测 元 素 变动 、 需 求 变 更 ) 和 真实 Bug。 图 6-28 统 计 的 是 两 个 月 的 数据 ， 可 以 发 现 Ul 变动 导致 的 问题 
占 总 发 现 问题 的 比例 相对 较 低 。 这 些 数据 是 在 没有 与 开发 约定 代码 规范 的 时 候 ， 随 着 后 期 的 合作 ， 这 部 分 Ul 变 动 导 致 的 问题 中 的 元 素 属性 变动 问题 将 会 下 降 ， 但 是 纯 需求 变动 的 问题 还 是 保持 一 定 的 比例 。 


发 现 问题 个 数 


每 日 发 现 问题 统计 
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AX CX) 
-一 一 发 现 问题 “一 -一 确认 是 Bug 


图 6-27 ”Bug 统计 图 


发 现 问题 的 分 类 占 比 


误 报 
5% 


E 确认 是 Bug 国 UI 变动  ixk 


图 6-28 ”问题 分 类 图 


68 人 小结 


本 章 主要 介绍 了 基于 XCTest 框 架 的 二 次 开发 实践 过 程 。 出 发 点 是 想 在 iPhone 上 和 寻找 到 一 个 比较 适用 于 浏览 器 测试 的 自动 化 测试 方式 。 之 前 的 基于 Xcode 自 带 测试 框架 UI Testing 进 行 了 BVT 建 设 , 但 是 
由 于 Xcode 升级 到 8.0 版 本 后 出 现 了 各 种 运行 问题 ， 被 迫 寻 找 新 的 测试 框架 ， 通 过 网 上 阅读 Google 的 EarlGrey 相 关 资 料 ， 才 最 终 确定 本 章 的 内 容 。 


第 7 章 ”iOS 精 准 测试 


前 面 儿 章 介绍 了 兼容 性 测试 、 性 能 测试 、 自 动 化 测试 等 常规 的 测试 手段 。 手 机 QQ 浏览 器 (iPhone) 项 目 中 还 有 一 些 独特 的 测试 技术 来 辅助 测试 ， 本 章 介绍 精准 测试 技术 在 iOS 平 台 实践 中 的 应 用 。 


7.1.1 ”传统 测试 遇 到 的 问题 
很 多 时 候 ， 笔 者 都 在 思考 一 些 问 题 ， 一 个 产品 到 底 测试 什么 ? 怎么 做 测试 计划 ? 怎么 执行 测试 ? 测试 的 质量 判定 标准 是 什么 ? 大 部 分 测试 人 员 大 概 都 会 遇 到 以 下 问题 。 
“ 如 何 度量 测试 范围 ， 安 排 测试 计划 ? 
开发 人 员 每 天 修改 大 量 的 代码 ， 测 试 范 围 无 法 明确 ， 只 凭借 开发 SVN 提 交 的 说 明 及 开发 的 提 测 单 进行 测试 范围 的 评估 ， 能 准确 地 衡量 测试 范围 吗 ? 
` 如 何 减 少 重复 的 人 工 测试 ? 
` 测试 人 员 制 订 测 试 计划 ， 基 本 是 根据 经 验 和 测试 用 例 数 量 制订 的 ， 标 准 不 是 很 科学 。 可 能 有 很 多 重复 的 工作 。 


: 如 何 定义 测试 过 程 的 质量 标准 ? 


. 如 何 度量 测试 人 员 的 工作 效率 和 质量 ? 
产品 质量 如 果 没有 一 个 统一 明确 的 判定 标准 ， 会 导致 测试 人 员 只 能 根据 简单 的 Bug 数量 及 Bug 解 决 率 来 衡量 产品 质量 ， 这 是 完全 不 够 的 ， 所 以 不 能 判断 我 们 的 产品 测试 到 什么 程度 质量 才 是 合格 的 。 
现在 一 线 的 测试 人 员 ， 尤 其 是 黑 盒 功能 测试 ， 外 包 占 了 很 大 比例 。 如 何 判断 外 包 的 测试 水 平和 测试 充分 性 ， 缺 乏 一 个 统一 的 判定 标准 。 如 何 衡量 外 包 的 工作 质量 ， 也 是 我 们 面临 的 一 个 难题 。 


要 解决 以 上 问题 ， 就 要 对 所 做 的 工作 进行 思考 和 改革 。 


7.1.2 ”敏捷 模型 的 挑战 


目前 互联 网 行业 基本 的 开发 模型 采用 的 是 敏捷 开发 ， 图 7-1 充 分 体现 了 敏捷 的 “快乐 ” 与 “痛苦 ”。 传统 测试 是 Week1 周 期 (图 7-1 中 的 第 一 个 周期 ) 整理 需求 ，Week2 有 周期 按 模块 逐渐 开 友 ，Week3 
周期 修改 Bug 完 善 需求 ，Week4 周 期 需求 大 改 ， 而 前 期 的 所 有 设计 和 开发 ， 都 需要 重新 来 过 。 敏 捷 开发 则 是 Week1 周 期 做 出 了 系统 的 大 概 demo，Week2 周 期 、Week3 周 期 、Week4 周 期 则 是 继续 完善 系 
统 ， 如 果 后 期 需求 发 生 巨大 改变 ， 也 不 会 全 部 推倒 重 来 。 因 此 ， 敏 捷 开 发 模式 比较 适合 互联 网 产品 开发 。 
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Week 3 : Week 4 


Week 1 | Week 2 


图 7-1 开发 周期 对 比 图 
敏捷 开发 模式 的 显著 特点 就 是 迭代 周期 短 和 需求 经 常 变更 。 
(1) 迭代 周期 短 : 有 的 产品 两 周 或 者 一 周 就 发 布 一 个 版 本 ， 这 就 需要 测试 人 员 做 到 “ 快 ”。 
(2) 需求 经 常 变更 : 产品 需求 会 经 常 发 生变 化 ， 往 往 是 开发 过 程 中 或 者 开发 完成 后 ， 需 求 都 还 会 变化 。 作 为 测试 人 员 ， 也 是 一 件 很 头疼 的 事 ， 因 此 需要 我 们 在 最 后 几 天 或 者 几 十 个 小 时 内 测试 完 所 有 的 
产品 功能 ， 这 不 仅 要 快 ， 还 要 “准确 ”， 不 做 重复 性 的 劳动 。 
7.1.3 ”解决 方案 


要 做 到 “ 快 ” 和 “ 准 ” 两 点 ， 传 统 的 测试 模型 已 经 不 能 满足 敏捷 的 要 求 了 。 必 须 寻 求 其 他 测试 方案 ， 才 能 使 得 我 们 的 测试 工作 更 加 高 效 、 更 加 便捷 。 


测试 人 员 需 要 对 开发 人 员 每 天 提交 的 代码 有 深刻 理解 ， 要 知道 这 些 代 码 的 改变 会 影响 哪些 模块 的 功能 ， 并 对 这 部 分 代码 做 准确 的 针对 性 的 测试 ， 而 对 那些 没有 影响 的 模块 可 以 直接 放 过 ， 或 者 自动 化 的 
脚本 实现 回归 即 可 ， 这 就 是 “ 快 ”。 


测试 人 员 还 需要 黑 盒 测试 或 者 灰 盒 测试 满足 功能 的 需求 ， 要 对 代码 的 逻辑 有 深刻 的 理解 ， 哪 些 分 支 代码 被 覆盖 到 ， 哪 些 分 支 代 码 没有 被 覆盖 到 ， 进 行 详细 分 析 ， 找 出 漏 测 的 地 方 ， 这 就 需要 “ 准 ”， 减 


少 重复 劳动 。 


图 7-2 所 示 的 是 总 体 的 解决 思路 ， 第 一 列 是 要 在 度量 测试 范围 上 解决 的 点 ， 从 代码 层 入 手 ， 分 析 不 同 版 本 之 间 的 代码 差异 ， 分 析出 函数 的 具体 功能 ， 记 录 函 数 的 变更 生命 周期 ， 建 立 一 套 分 析 函 数 模型 ， 
就 可 以 从 架构 逻辑 层 了 解 测试 点 。 第 二 列 是 如 何 减 少 重复 测试 ， 需 要 了 解 代码 的 变更 范围 ， 所 影响 的 测试 变更 点 ， 通 过 代码 变化 反 推出 测试 点 。 第 三 列 是 建立 测试 标准 ， 这 个 阶段 可 以 定义 一 些 可 量化 的 标 
准 ， 或 者 从 线 上 用 户 反馈 获取 到 问题 ， 反 过 来 优化 模型 。 第 四 列 是 测试 执行 人 员 的 工作 度量 ， 通 过 分 析 其 用 例 执 行 复杂 度 、 用 例 数 量 、 代 码 覆 善 率 等 数据 度量 其 工作 效率 和 测试 程度 。 度 量 体 系 图 如 图 7-2 所 


小。 
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以 上 的 解决 思路 ， 通 过 形象 化 的 理论 表述 就 是 精准 测试 。 要 解决 这 些 问题 ， 我 们 引入 了 精准 测试 方案 ， 它 能 满足 敏捷 开发 中 对 测试 人 员 的 要 求 即 快 和 准 。 


第 7 章 iOS 精 准 测 试 


前 面 几 章 介绍 了 兼容 性 测试 、 性 能 测试 、 自 动 化 测试 等 常规 的 测试 手段 。 手 机 QQ 浏览 器 (iPhone) 项 目 中 还 有 一 些 独特 的 测试 技术 来 辅助 测试 ， 本 章 介绍 精准 测试 技术 在 iOS 平 台 实践 中 的 应 用 。 


7.1.1 “传统 测试 遇 到 的 问题 
很 多 时 候 ， 笔 者 都 在 思考 一 些 问题 ， 一 个 产品 到 底 测 试 什么 ? 怎么 做 测试 计划 ? 怎么 执行 测试 ? 测试 的 质量 判定 标准 是 什么 ? 大 部 分 测试 人 员 大 概 都 会 遇 到 以 下 问题 。 
“ 如 何 度量 测试 范围 ， 安 排 测试 计划 ? 
开发 人 员 每 天 修改 大 量 的 代码 ， 测 试 范 围 无 法 明确 ， 只 凭借 开发 SVN 提 交 的 说 明 及 开发 的 提 测 单 进行 测试 范围 的 评估 ， 能 准确 地 衡量 测试 范围 吗 ? 
: 如 何 减 少 重复 的 人 工 测试 ? 
` 测试 人 员 制 订 测 试 计划 ， 基 本 是 根据 经 验 和 测试 用 例 数 量 制订 的 ， 标 准 不 是 很 科学 。 可 能 有 很 多 重复 的 工作 。 
: 如 何 定 义 测试 过 程 的 质量 标准 ? 
` 如 何 度量 测试 人 员 的 工作 效率 和 质量 ? 
产品 质量 如 果 没 有 一 个 统一 明确 的 判定 标准 ， 会 导致 测试 人 员 只 能 根据 简单 的 Bug 数 量 及 Bug 解 决 率 来 衡量 产品 质量 ， 这 是 完全 不 够 的 ， 所 以 不 能 判断 我 们 的 产品 测试 到 什么 程度 质量 才 是 合格 的 。 
现在 一 线 的 测试 人 员 ， 尤 其 是 黑 盒 功能 测试 ， 外 包 占 了 很 大 比例 。 如 何 判断 外 包 的 测试 水 平和 测试 充分 性 ， 缺 乏 一 个 统一 的 判定 标准 。 如 何 衡量 外 包 的 工作 质量 ， 也 是 我 们 面临 的 一 个 难题 。 


要 解决 以 上 问题 ， 就 要 对 所 做 的 工作 进行 思考 和 改革 。 


7.1.2 ”敏捷 模型 的 挑战 


目前 互联 网 行业 基本 的 开发 模型 采用 的 是 敏捷 开发 ， 图 7-1 充 分 体现 了 敏捷 的 “快乐 ”与 “痛苦 ”。 传 统 测试 是 Week1 周 期 (图 7-1 中 的 第 一 个 周期 ) 整理 需求 ，Week2 周 期 按 模 块 逐渐 开发 ，Week3 
周期 修改 Bug 完 善 需求 ，Week4 周 期 需求 大 改 ， 而 前 期 的 所 有 设计 和 开发 ， 都 需要 重新 来 过 。 敏 捷 开 发 则 是 Week1 周 期 做 出 了 系统 的 大 概 demo，Week2 周 期 、Week3 周 期 、Week4 周 期 则 是 继续 完善 系 
统 ， 如 果 后 期 需求 发 生 巨大 改变 ， 也 不 会 全 部 推倒 重 来 。 因 此 ， 敏 捷 开 发 模式 比较 适合 互联 网 产品 开发 
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图 7-1 开发 周期 对 比 图 

敏捷 开发 模式 的 显著 特点 就 是 迭代 周期 短 和 需求 经 常 变 更 。 

(1) 迭代 周期 短 : 有 的 产品 两 周 或 者 一 周 就 发 布 一 个 版 本 ， 这 就 需要 测试 人 员 做 到 “ 快 ”。 

(2) 需求 经 常 变更 : 产品 需求 会 经 常 发 生变 化 ， 往 往 是 开发 过 程 中 或 者 开发 完成 后 ， 需 求 都 还 会 变化 。 作 为 测试 人 员 ， 也 是 一 件 很 头疼 的 事 ， 因 此 需要 我 们 在 最 后 几 天 或 者 几 十 个 小 时 内 测试 完 所 有 的 
产品 功能 ， 这 不 仅 要 快 ， 还 要 “准确 ” ， 不 做 重复 性 的 劳动 。 
7.1.3 解决 方案 


要 做 到 “ 快 ” 和“ 准 ”两 点 ， 传 统 的 测试 模型 已 经 不 能 满足 敏捷 的 要 求 了 。 必 须 寻 求 其 他 测试 方案 ， 才 能 使 得 我 们 的 测试 工作 更 加 高 效 、 更 加 便捷 。 


测试 人 员 需 要 对 开发 人 员 每 天 提交 的 代码 有 深刻 理解 ， 要 知道 这 些 代 码 的 改变 会 影响 哪些 模块 的 功能 ， 并 对 这 部 分 代码 做 准确 的 针对 性 的 测试 ， 而 对 那些 没有 影响 的 模块 可 以 直接 放 过 ， 或 者 自动 化 的 
脚本 实现 回归 即 可 ， 这 就 是 “ 快 ”。 


测试 人 员 还 需要 黑 盒 测 试 或 者 灰 盒 测试 满足 功能 的 需求 ， 要 对 代码 的 逻辑 有 深刻 的 理解 ， 哪 些 分 支 代 码 被 覆盖 到 ， 哪 些 分 支 代 码 没有 被 覆盖 到 ， 进 行 详细 分 析 ， 找 出 漏 测 的 地 方 ， 这 就 需要 “ 准 ”， 减 
少 重复 劳动 。 


图 7-2 所 示 的 是 总 体 的 解决 思路 ， 第 一 列 是 要 在 度量 测试 范围 上 解决 的 点 ， 从 代码 层 入 手 ， 分 析 不 同 版 本 之 间 的 代码 差异 ， 分 析出 函数 的 具体 功能 ， 记 录 函 数 的 变更 生命 周期 ， 建 立 一 套 分 析 函 数 模型 ， 
就 可 以 从 架构 逻辑 层 了 解 测试 点 。 第 二 列 是 如 何 减 少 重复 测试 ， 需 要 了 解 代码 的 变更 范围 ， 所 影响 的 测试 变更 点 ， 通 过 代码 变化 反 推出 测试 点 。 第 三 列 是 建立 测试 标准 ， 这 个 阶段 可 以 定义 一 些 可 量化 的 标 


准 ， 或 者 从 线 上 用 户 反馈 获取 到 问题 ， 反 过 来 优化 模型 。 第 四 列 是 测试 执行 人 员 的 工作 度量 ， 通 过 分 析 其 用 例 执 行 复杂 度 、 用 例 数量 、 代 码 履 盖 率 等 数据 度量 其 工作 效率 和 测试 程度 。 度 量 体 系 图 如 图 7-2 所 


人 小。 
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以 上 的 解决 思路 ， 通 过 形象 化 的 理论 表述 就 是 精准 测试 。 要 解决 这 些 问题 ， 我 们 引入 了 精准 测试 方案 ， 它 能 满足 敏捷 开发 中 对 测试 人 员 的 要 求 即 快 和 准 。 


7.2. WEE 
7.2.1 业界 的 精准 测试 概念 


首先 ， 我 们 了 解 下 业界 的 一 些 精准 测试 。 相 对 于 普通 测试 ， 精 准 测试 是 在 传统 测试 过 程 中 ， 通 过 技术 手段 对 被 测 程序 进行 360 度 全 方位 测试 ， 将 测试 过 程 可 视 化 、 数 字 化 、 标 准 化 ， 从 而 达到 被 测 程序 


上 线 稳定 、 无 风险 、 维 护 成 本 低 等 目的 。 


相 比 传统 测试 ， 精 准 测试 能 够 通过 程序 自动 生成 海量 的 、 不 能 被 修改 的 原生 态 测 试 数据 ， 通 过 这 些 数据 的 汇集 、 分 析 对 测试 进行 带 有 智能 性 的 指导 ， 避 免 了 传统 测试 过 程 中 人 力 记录 的 时 间 成 本 与 真实 
性 的 问题 。 精 准 测试 和 传统 测试 的 关联 在 于 ， 在 整个 测试 过 程 中 ， 实 际 操作 完全 基于 传统 测试 ， 并 通过 技术 手段 在 传统 测试 过 程 中 自动 产生 原生 态 的 测试 数据 。 


从 根本 上 来 说 ， 精 准 测试 就 是 对 测试 过 程 的 精准 分 析 指 导 。 以 科学 的 分 析 数 据 为 前 提 ， 判 断 每 个 测试 过 程 的 测试 程度 ， 度 量 我 们 的 测试 行为 ， 对 产品 质量 进行 全 方位 的 把 控 和 度量 。 


7.2.2 ”我 们 自己 的 理解 


针对 目前 业务 模型 、 实 际 需要 解决 的 问题 ， 以 及 我 们 的 技术 能 力 ， 团 队 对 精准 测试 有 自己 的 理解 和 探索 方式 。 
精准 测试 是 在 传统 测试 过 程 中 ， 通 过 技术 手段 确定 测试 范围 、 量 化 测试 流程 ， 并 将 整个 过 程 标准 化 ， 从 而 达到 被 测 产 品 快速 稳定 发 布 的 目的 。 
下 面 从 质量 管理 的 三 要 素 (范围 、 时 间 、 成 本 ) 详细 阐述 精准 测试 理论 。 


范围 : 测试 范围 决定 了 测试 的 时 间 ， 间 接地 决定 了 测试 的 质量 。 如 何 确定 测试 范围 ， 这 也 是 测试 的 一 种 艺术 
差异 ， 而 不 是 全 局 变化 ， 更 多 关注 增 量 代 码 和 差异 代码 。 


精准 测试 的 重要 关注 点 。 精 准 测 试 说 白 了 就 是 针对 代码 、 测 试点 关注 不 同 版 本 间 的 代码 


时 间 : 是 牵制 测试 人 员 比 较 大 的 一 个 因素 。 对 于 大 多 数 业务 测试 人 员 来 说 ， 时 间 是 最 大 的 挑战 ， 业 务 人 员 如 何 将 时 间 利 用 到 极致 ”采用 精准 测试 配合 自动 化 测试 。 精 准 测试 将 本 次 测试 的 范围 精确 化 ， 
可 更 好 地 确定 关联 模块 。 自 动 化 测试 更 多 的 是 在 持续 集成 代码 检查 之 后 ， 自 动 触发 将 自动 化 测试 作为 迭代 的 代码 准 入 原则 。 


成 本 : 测试 成 本 的 要 素 包含 很 多 方面 ， 即 是 否 写 了 测试 代码 只 是 其 中 一 个 重要 部 分 ， 是 否 采 用 JUint 以 及 Mock 对 象 也 不 是 对 其 评价 的 决定 性 因素 。 对 测试 的 更 好 评价 是 额外 代码 、 测 试 可 重复 性 、 测 试 
范围 和 边界 值 识别 等 因素 (测试 对 设计 的 作用 是 更 高 级 的 判断 ) 。 我 们 主要 的 关注 点 是 单位 时 间 人 力 投入 的 产 出 比 一 定 要 合理 。 一 方面 要 提高 测试 人 员 的 专业 技术 能 力 ， 另 一 方面 要 工具 自动 化 以 及 先进 的 
理论 支撑 。 精 准 测试 理论 能 够 最 大 限度 地 缩小 我 们 的 测试 范围 ， 提 高 工作 效率 ， 从 而 保证 我 们 的 单位 时 间 劳 劫 效率 都 是 有 效 的 。 


质量 、 测 试 成 度 、 成 本 关系 如 图 2-1 所 示 。 测 试 程度 越 深 ,测试 的 成 本 就 会 陡 增 ， 产 品质 量 也 会 越 高 。 所 以 最 合适 的 测试 点 是 测试 费用 和 缺陷 数 的 交 义 点 ， 这 时 的 测试 度 最 适合 ， 特 别 是 互联 网 产品 的 有 
损 发 布 模式 ， 可 以 容忍 一 定 的 非 致命 Bug 人 存在 。 图 7-3 所 示 的 是 一 种 理想 的 测试 点 ， 需 要 我 们 不 断 探索 ， 才 能 摸索 出 适合 自己 产品 的 测试 成 本 图 。 


缺陷 数 测试 费用 
最 适合 的 测试 j 


测试 的 程度 


图 7-3 ”质量 和 测试 度 对 比 图 


精准 测试 就 是 在 整个 测试 流程 中 ， 保 证 每 个 阶段 的 工作 可 以 科学 量化 和 度量 的 一 种 体系 化 的 度量 手段 。 目 前 实现 方式 主要 围绕 三 个 维度 : 时 间 管 理 、 人 员 管 理 、 指 标 管理 。 通 过 对 代码 变更 的 监控 ， 精 
确 度 量 测试 范围 ， 推 算出 测试 时 间 、 需 要 的 测试 人 员 数 量 ， 以 及 定义 覆盖 率 指标 。 


软件 的 质量 反映 了 代码 的 质量 ， 而 代码 的 质量 则 是 开发 人 员 需 要 保证 的 。 但 是 ， 开 发 人 员 能 真正 地 保证 自己 的 代码 质量 吗 ? 显然 是 不 现实 的 ， 所 以 这 就 需要 测试 的 度量 ， 好 软件 不 是 测试 出 来 的 ， 但 是 
好 的 软件 质量 一 定 需 要 测试 的 保证 。 


关于 如 何 评估 测试 效率 一 直 是 一 个 很 难 回答 的 问题 ， 同 样 ， 评 估 一 个 测试 人 员 的 贡献 也 很 难 。 测 试 漏 测 率 、Bug 发 现 率 ， 这 些 客观 地 衡量 功能 测试 的 指标 也 已 经 越 来 越 不 明确 了 。 所 以 精准 测试 更 加 关 
注 代 码 的 变化 过 程 ， 当 设计 一 个 精准 测试 框架 流程 时 ， 也 应 该 以 代码 的 需求 、 代 码 的 生成 、 代 码 的 增 量 变化 、 代 码 的 反复 修改 为 基准 ， 重 点 关注 回归 、 人 迭代 版 本 代码 差异 等 指标 。 


7.3 ”传统 测试 到 精 ) 侍 测试 的 演变 


7.3.1 ”精准 测试 与 传统 测试 的 对 比 
接 下 来 看 看 传统 测试 和 精准 测试 有 哪些 不 同 之 处 。 


(1) 传统 测试 更 强调 测试 的 独立 性 ， 将 “开发 人 员 ” 和 “测试 人 员 ” 角 色 分 得 比较 清楚 。 而 精准 测试 可 以 是 专职 的 测试 人 员 ， 也 可 以 是 全 民 测试 人 员 ， 即 在 精准 测试 中 ， 可 以 没有 “测试 人 员 ” 角色， 
强调 整个 团队 对 测试 负责 。 


(2) 传统 测试 更 具有 阶段 性 ， 从 需求 评审 、 设 计 评审 、 单 元 测试 到 集成 测试 、 系 统 测试 等 ， 从 测试 计划 、 测 试 设计 再 到 测试 执行 、 测 试 报告 等 。 而 精准 测试 更 强调 测试 的 效率 ， 快 速 敏捷 ， 特 别 是 回归 
测试 中 的 关注 点 。 


(3) 传统 测试 强调 测试 的 计划 性 ， 认 为 没有 良好 的 测试 计划 和 不 按 计 划 执 行 ， 测 试 就 难以 控制 和 管理 。 而 精准 测试 更 强调 测试 的 速度 和 适应 性 ， 侧 重 在 计划 的 同时 不 断 调 整 以 适应 需求 的 变化 ， 体 现代 
码 层 的 变化 。 


(4) 传统 测试 强调 测试 由 “验证 ”和 “确认 ”两 种 活动 构成 。 而 精准 测试 没有 这 种 区 分 ， 始 终 以 代码 变化 为 中 心 ， 每 时 每 刻 关 注 代码 的 变化 ， 将 验证 和 确认 统一 起 来 。 


(5) 传统 测试 强调 任何 发 现 的 缺陷 要 记录 下 来 ， 以 便 分 析 缺 陷 的 根本 原因 ， 达 到 缺陷 预防 的 目的 ， 并 强调 缺陷 跟踪 和 处 理 的 流程 ， 区 分 测试 人 员 和 开发 人 员 各 自 不 同 的 责任 。 而 精准 测试 强调 对 代码 的 
理解 程度 ， 对 开发 需求 的 了 解 程 度 ， 开 发 测试 的 共同 责任 ,不 太 关注 对 缺陷 的 记录 与 跟踪 。 


(6) 传统 测试 更 关注 缺陷 ， 围 绕 缺 陷 开展 一 系列 的 活动 ， 如 缺陷 跟踪 、 缺 陷 度 量 、 缺 陷 分 析 、 缺 陷 报告 质量 检查 等 。 而 精准 测试 更 关注 产品 本 身 ， 关 注 可 以 交付 的 客户 价值 。 在 快速 交付 的 敏捷 开发 模 
式 下 ， 缺 陷 修 复 的 成 本 很 低 。 


(7) 传统 测试 鼓励 自动 化 测试 ， 但 自动 化 测试 的 成 功 与 否 对 测试 没有 决定 性 影响 。 而 精准 测试 的 基础 就 是 自动 化 快速 识别 代码 效率 的 测试 ， 精 准 测试 是 具有 良好 自动 化 测试 框架 支撑 的 快速 测试 。 
7.3.2 ”精准 测试 满足 敏捷 需求 


互联 网 时 代 ， 效 率 就 是 生命 。 特 别 是 迭代 周期 异常 短 的 产品 ， 机 会 就 在 瞬间 ， 谁 能 够 快速 把 握 市 场 动向 ， 快 速 推出 消费 者 满意 的 产品 ， 谁 就 能 快速 占领 市 场 。 测 试 人 员 在 这 个 过 程 中 如 何 快速 把 控 好 质 
量 ， 如 何在 最 短 的 时 间 内 把 产品 测试 做 得 更 加 全 面 ， 发 现 的 问题 更 加 有 效 ， 就 是 一 个 严峻 的 考验 。 


精准 测试 就 是 符合 敏捷 宣言 思想 ， 遵 守 敏捷 开发 原则 ， 在 敏捷 开发 环境 下 能 够 很 好 地 与 其 整体 开发 流程 融合 的 一 系列 的 测试 实践 ， 这 些 实践 具有 鲜明 的 敏捷 开发 的 特征 ， 如 TDDP]、ATDIo、 结 对 编 


呈 [/]、 持 续集 成 测试 [| 等。 


74 ”精准 测试 实践 之 路 
精准 测试 是 一 个 庞大 的 测试 分 析 体系 ， 有 很 多 的 功能 ， 可 能 在 目前 的 技术 条 件 下 无 法 实现 。 我 们 主要 是 根据 自己 的 实际 情况 ， 解 决 我 们 的 实际 问题 ， 而 实现 精准 的 一 些 重要 部 分 功能 
7.4.1 ”精装 测试 总 体 架 构图 


精准 测试 总 体 架 构图 如 图 7-4 所 示 。 图 中 左边 是 架构 所 包含 的 具体 模块 ， 右 边 是 精准 测试 的 执行 步骤 。 
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图 7-4 ”精准 测试 架构 图 


精准 实现 方案 活动 图 如 图 7-5 所 示 ， 主 要 描述 了 精准 测试 过 程 中 每 个 阶段 的 活动 状态 。 


精准 分 析 状 态 变 化 图 


精准 分 析 开 始 SVN 代 码 库 


F—— 更 新 库 文 件 
更 新 SVN 库 
匹配 测试 用 例 外 包 执 行 
用 例 


精准 分 析 系 统 
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图 7-5 ”精准 分 析 状态 图 
74.2 代码 分 析 


代码 分 析 主 要 解决 三 方面 的 问题 。 第 一 个 是 得 到 函数 调用 关系 的 静态 链表 。 第 二 个 是 分 析出 代码 中 的 潜在 Bug、 风 险 以 及 代码 的 规范 程度 。 第 三 个 是 通过 某 种 模型 或 者 技术 手段 ， 或 者 根据 业界 的 普遍 
标准 ， 度 量 开发 的 代码 质量 。 代 码 分 析 也 是 为 精准 测试 在 代码 和 用 例 之 间 建 立 关联 的 一 种 技术 手段 。 


静态 分 析 模 块 主要 就 是 实现 代码 的 静态 扫描 功能 。 主 要 实现 的 关键 点 包括 逻辑 调用 流程 、 扫 描 代码 的 语法 缺陷 、 分 析 代 码 的 质量 。 


静态 分 析 模 块 的 架构 图 如 图 7-6 所 示 ， 底 层 是 LibclangD] 底 层 接口 ， 包 含 语言 预 处 理 模块 、 语 义 分 析 模块 、 标 签 分 析 模 块 和 文档 注释 分 析 模块 。 其 中 文档 注释 分 析 模块 主要 用 于 处 理 变 成 中 的 注释 部 分 信 
。 中 间 层 模块 主要 根据 底层 接口 来 处 理 对 象 封装 的 高 一 级 的 对 象 结构 。 经 过 中 间 层 的 处 理 ， 可 以 获取 具体 的 操作 数据 。 然 后 通过 保存 数据 库 来 保存 不 同 版 本 的 函数 调用 关系 链 。 
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图 7-6 ”静态 分 析 模 块 架 构图 


要 静态 扫描 Object-C 语 言 ， 首 先 要 通过 语义 分 析 和 词法 分 析 获 取 AST 树 (虚拟 生成 树 ， 一 种 语言 表示 结构 ) ， 然 后 通过 函数 间 的 算法 得 出 各 个 函数 之 间 的 调用 关系 。 其 中 AsT 搜 索 语法 树 算法 流程 如 图 
7-7 所 元。 


获取 静态 函数 调用 路 径 的 具体 算法 流程 如 图 7-8 所 示 。 
通过 以 上 算法 流程 ， 我 们 可 以 分 析出 函数 静态 调用 关系 链 。 这 为 我 们 理解 某 个 功能 的 内 部 逻辑 天 系 打 下 了 坚实 的 基础 ， 也 为 建立 代码 到 用 例 的 关系 链 做 出 了 铺垫 。 


目前 市 面 上 有 很 多 成 熟 的 扫描 分 析 工 具 ， 能 够 分 析出 Objective-C 代 码 或 者 程序 的 语法 缺陷 。 我 们 使 用 的 OClint (是 一 种 开源 工具 ) 是 针对 C、C++ 及 Objective-C 代 码 的 静态 扫描 分 析 工 具 ， 而 
SonarQube 是 一 个 开源 的 代码 质量 管理 平台 。 将 OClint 的 扫描 结果 导入 SonarQube 中 ， 就 可 以 实现 对 Objective-C 代 码 质量 的 管理 。Xcode 本 身 自 带 的 静态 分 析 工 具 也 是 一 种 很 有 用 的 分 析 手 段 ， 可 以 检查 
出 程序 的 基本 语法 错误 ， 如 内 存 泄露 等 缺陷 、 规 范 代码 的 编写 。 
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图 7-7 AST 搜 索 语法 树 算法 
(1) 建议 在 开发 编码 阶段 使 用 ， 通 过 直接 分 析 源 代码 来 发 现 程 序 中 的 错误 ， 而 不 需要 实际 运行 ， 提 前 发 现代 码 隐患 。 


(2) 在 冒 烟 测试 时 可 先进 行 扫描 ， 在 错误 太 多 、 代 码 修改 量 太 大 的 情况 下 可 暂 不 介入 测试 ， 以 免 造 成 返工 。 


通过 以 上 分 析 ， 我 们 从 三 个 方面 对 代码 进行 了 分 析 ， 得 到 了 我 们 想 要 的 数据 。 


如 今 互联 网 时 代 的 产品 迭代 周期 很 短 ， 所 以 代码 的 变更 也 更 加 频繁 ， 这 就 需要 我 们 对 静态 关系 库 进 行 实时 更 新 ， 代 码 监控 模块 就 是 监控 版 本 变化 到 一 定 程度 时 ， 就 需要 更 新 静态 关系 库 。 其 原理 就 是 监 
控 SVN 变 更 版 本 和 基 库 版 本 之 间 的 代码 变化 ， 当 代码 变化 到 一 定 阅 值 的 时 候 ， 就 需要 更 新 静态 关系 库 。 
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图 7-8 获取 静态 函数 调用 路 径 的 具体 章法 图 


代码 变更 监控 模块 的 架构 图 如 图 7-9 所 示 。 其 中 底层 主要 是 函数 版 本 的 对 比分 析 ， 获 取 基 库 版 本 代码 ， 和 迭代 版 本 代码 ， 分 析出 这 两 个 版 本 代码 的 函数 调用 链 。 经 过 中 间 层 的 算法 比 对 ， 计 算出 这 两 个 版 本 
之 间 调 用 链 的 变化 情况 ， 计 算出 差异 的 辣 值 。 保 存 该 数据 ， 用 于 下 一 轮 的 版 本 差异 对 比 。 当 两 个 版 本 之 间 的 代码 差异 超过 某 个 合适 的 值 时 ， 就 需要 更 新 用 例 函 数 天 系 库 。 
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图 7-9 ”代码 变更 监控 模块 的 架构 图 


743 ”用 例 关系 库 


代码 分 析 完 成 后 ， 可 建立 静态 路 径 关 系 库 。 初 步 找 出 了 代码 的 基本 语法 语义 缺陷 。 通 过 BVT (Build Verification Test， 准 入 测试 ， 检 验 产品 的 功能 是 否 完善 ) 的 冒 烟 测试 ， 确 保 版 本 质量 达到 提 测 水 
平 。 接 下 来 我 们 建立 从 用 例 到 代码 之 间 的 一 种 映射 天 系 ， 这 样 就 可 以 在 以 后 代码 变化 时 ， 根 据 代码 的 变化 反 推 出 用 例 。 


建立 用 例 关 系 库 是 一 项 费时 费力 的 工作 ， 首 先 我 们 要 整理 出 一 套 耦 合 天 系 比 较 低 的 用 例 ， 这 些 用 例 都 是 从 黑 盒 层面 进行 设计 的 ， 所 以 在 功能 上 的 耦合 度 应 尽量 低 。 在 选择 用 例 时 要 确保 各 个 用 例 之 间 不 
要 有 太 多 的 关联 条 件 ， 这 样 得 到 的 代码 才 会 简洁 ， 反 推 用 例 时 才能 提高 准确 度 ， 不 至 于 一 点 代码 的 修改 ， 反 推出 大 量 的 用 例 ， 浪 费 测试 人 员 的 时 间 。 


动态 用 例 模块 就 是 实现 获取 到 用 例 关 系 库 的 功能 ， 其 架构 如 图 7-10 所 示 。 该 模块 主要 是 通过 iOSs 工 程 的 插 桩 操作 来 实现 的 ， 底 层 依赖 Xcode 提 供 的 覆盖 率 工具 。 配 置 Xcode 履 盖 率 选项 ， 依 赖 GCC 的 编 
译 接口 。 中 间 封 装 好 插 桩 模块 。 最 后 得 到 生成 的 gcda 文 件 和 gcno 文 件 ， 它 们 再 合并 得 到 info 文 件 ， 经 过 处 理 分 析 就 可 以 获取 到 每 个 用 例 的 函数 调用 链 。 


具体 的 插 桩 实现 是 根据 Xcode 的 代码 覆盖 率 原 理 实现 的 。 
(1) 配置 好 代码 覆盖 率 生 成 信息 。 
(2) 调用 GCC (GNU Compiler Collection，GNU 编 译 套件 ) 接口 编写 生成 插 桩 文件 模块 。 


(3) 编写 CC (Code Coverage, RBE) UI 控件 。 
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图 7-10 动态 用 例 模块 架构 图 
(4) Xcode 编译 打包 生成 ipa 文 件 。 
(5) 人 工 或 者 自动 化 用 例 执行 ， 调 用 上 面 实现 的 插 桩 模块 生成 gcda 文 件 。 
(6) 使 用 打包 编译 时 的 gcno 文 件 和 5 种 gcda 文 件 ， 合 并 生成 info 文 件 。 
(7) 分 析 info 文 件 信 息 ， 获 取 到 相关 的 函数 ， 将 其 与 用 例 ID 一 一 对 应 。 
(8) 持久 化 用 例 ID 和 其 函数 关系 。 
动态 关系 链 实 现 如 图 7-11 所 示 。 
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图 7-11 动态 关系 链 实现 图 


至 此 ， 用 例 关系 库 创建 完毕 。 这 个 库 是 与 版 本 一 一 对 应 的 ， 可 能 每 个 版 本 的 用 例 关 联 的 代码 都 不 一 样 ， 所 以 需要 实时 不 断 地 更 新 维护 此 库 。 我 们 一 般 会 在 集成 测试 阶段 进行 库 的 更 新 维护 ， 因 为 这 时 基 
本 功能 已 经 稳定 ， 外 包 需 要 执行 已 完成 功能 的 用 例 测试 ， 这 时 是 维护 此 库 的 绝 好 时 机 ， 这 样 就 不 会 浪费 大 量 的 时 间 和 和 人力 了 。 


7.44 ”SVN 代 码 变 化 监控 分 析 


前 面 已 经 建立 了 一 套 详 细 的 从 代码 到 用 例 、 用 例 到 代码 之 间 的 双向 映射 关系 。 这 样 就 能 对 每 日 代码 的 变化 进行 分 析 ， 得 出 每 日 迭代 测试 的 基本 要 点 ， 缩 小 测试 人 员 测试 的 范围 以 及 根据 代码 变更 的 多 少 
安排 测试 时 间 。 这 样 我 们 就 可 以 针对 性 地 重点 关注 变更 的 代码 ， 其 他 没有 修改 的 部 分 模块 ， 可 以 使 用 自动 化 来 保证 。 这 样 既 保 证 了 产品 的 质量 ， 又 减少 了 人 力 的 投入 。SVNDIFF 监 控 模块 的 架构 图 如 图 7-12 
所 示 。 首 先 我 们 需要 获取 到 对 比 版 本 的 SVN 人 代码， 然后 通过 对 比 代码 差异 分 析 函 数 级 别 的 代码 差异 ， 包 括 ADD、DELETE、EDIT 三 种 变化 状态 ， 并 分 析出 告警 的 函数 ， 将 得 到 的 数据 信息 、 版 本 信息 、 用 例 
言 息 保存 到 数据 库 。 


数据 持久 化 层 


函数 变更 数据 版 本 信息 数据 SQLITE 
用 例 信息 数据 数据 库 持 久 化 


图 7-12 ”SVNDIFF 监 控 模 块 的 架构 图 


使 用 持续 集成 ， 每 天 根据 RDM 平 台 的 持续 集成 包 ， 获 取 到 最 新 变更 的 SVN 版 本 号 和 日 期 。 通 过 这 个 最 新 的 SVN 版 本 号 ， 可 与 头 一 天 的 SVN 基 库 版 本 进行 代码 的 差异 化 对 比 ， 然 后 获取 到 差异 化 的 代码 变 
更 信息 ， 包 括 增删 改 等 沙 数 的 详细 变更 信息 。 实 现 该 模块 的 底层 主要 使 用 pysvn 接 口 对 SVN 进 行 操作 。 


当 获 取 到 详细 的 每 日 代码 变更 信息 之 后 ， 就 可 以 进一步 使 用 分 析 模 块 对 变更 信息 进行 对 比 。 该 分 析 系 统 主要 实现 以 下 几 方 面 的 功能 : 一 是 使 用 变化 的 函数 信息 为 输入 数据 ， 查 询 用 例 关 系 库 ， 这 样 就 可 
以 反 推 出 相关 修改 的 代码 所 对 应 的 功能 用 例 。 二 是 在 此 基线 版 本 之 后 添加 的 函数 ， 在 该 版 本 之 后 进行 了 修改 ， 或 者 是 一 级 用 例 没有 履 盖 的 函数 ， 这 些 函 数 就 需要 进行 ET 探索 式 测试 进行 覆 善 。 三 是 该 基 库 版 
本 之 后 添加 的 代码 ， 此 部 分 需要 新 添加 用 例 进 行 覆 盖 。 


基于 遂 数 变更 分 析 的 覆盖 指导 图 如 图 7-13 所 示 。 其 中 描述 了 遂 数 的 变更 周期 ， 首 先是 基线 版 本 函数 作为 比 对 基础 ， 然 后 获取 到 SVN1 版 本 的 代码 ， 可 以 分 析出 函数 变化 有 三 种 状态 : ADD (需要 增加 用 
例 ) ; DELETE (需要 删除 相应 的 用 例 ， 反 推 用 例 验 证 ， 探 索 式 验证 ) ; EDIT (需要 反 推 用 例 验证 ， 或 者 探索 式 验证 ) 。 继 续 获 取 SVN2 和 迭代 版 本 、SVN3 运 代 版 本 ， 如 果 SVN2 版 本 相对 于 SVN1 版 本 进行 了 
修改 ， 并 且 该 函数 在 SVN3 版 本 删 掉 了 ， 则 可 推测 出 该 函数 是 告警 冰 数 。 


基线 版 本 SVN 1 SVN 2 SVN 3 
| 


| 1: ADD() 1.1: EDITO) 1.1.1: DELETE() | 


l 1.2: 增加 用 例 () | 2: 用 例 验 证 1.1.1.1: 警告 开发 ) | 


3: EDIT() - 3.1: EDITO 


3.2.1: 执行 反 推 用 例 () | 3.1.1: 执行 反 推 用 例 


3.3: ET 用 例 保证 () | sarmon 3.1.2: ET 用 例 保证 0 p 
| 3.3.1: DELETEO 


3.3.1.1: 删除 用 例 验 证 () | 


上 3.3.1.2: 反 推 用 例 验 证 () 
| 3.3.1.3: ET 验证 () — 


图 7-13 ”基于 函数 变更 分 析 的 履 盖 指导 图 
得 出 这 些 分 析 结 果 之 后 ， 就 可 以 分 三 步 来 做 测试 工作 了 。 对 反 推 出 的 用 例 ， 可 以 让 外 包 验 证 ， 检 查 用 例 功能 是 否 正 确 。ET 功 能 和 新 增 功能 需要 人 工 进行 代码 逻辑 分 析 ， 进 而 保证 变化 的 代码 都 要 履 盖 
到 。 在 做 人 工分 析 的 时 候 ， 开 始 是 比较 困难 的 ， 需 要 测试 人 员 熟 悉 代 码 逻 辑 结 构 ， 从 白 盒 的 层面 了 解 产 品 ， 这 是 一 个 痛苦 的 过 程 。 但 是 ， 当 效 过 去 之 后 ， 我 们 对 iPhone QQ 浏览 器 会 有 一 个 全 新 的 认识 ， 很 
多 问题 都 会 有 不 同 的 角度 分 析 测 试 ， 这 样 将 能 够 更 加 有 效 地 保证 产品 的 质量 。 但 是 在 做 这 些 工作 的 时 候 ， 一 定 要 控制 好 投入 产 出 比 ， 不 能 影响 正常 的 业务 测试 工作 。 
714.5 ”精准 自动 化 方案 
1.BVT 接 口 自动 化 方案 


接口 自动 化 初步 实现 架构 图 如 图 7-14 所 示 ， 其 中 XCTEST 作 为 接口 测试 底层 框架 ， 是 苹果 公司 提供 的 一 种 单元 测试 框架 。OCMock 用 来 mock 一 些 我 们 想 要 的 返回 值 。OChamcrest 则 是 提供 断言 接口 ， 
方便 判断 测试 结果 的 正确 性 。KIF 作 为 集成 框架 调用 ， 方便 用 例 管理 。 


OCMock 


OChamcrest 


图 7-14 接口 自动 化 初步 实现 架 


Æ 
P3 


通过 代码 层 的 接口 自动 化 测试 ， 可 保证 大 部 分 接口 的 准确 性 。 

2.UI 层 的 自动 化 方案 

UI 层 主要 是 从 UI 功 能 的 角度 进行 自动 化 测试 。 精 准 系统 每 天 会 根据 代码 变化 推出 部 分 测试 用 例 ， 这 时 需要 自动 化 的 用 例 进 行 验证 。 
当 需 要 更 新 用 例 关系 库 的 时 候 ， 可 以 使 用 自动 化 方案 进行 更 新 操作 ， 以 节约 人 力 成 本 。 


UI 自动 化 架构 如 图 7-15 所 示 。UI 自 动 化 一 直 是 iOS 平 台 的 璐 梦 ， 因 为 第 三 方 框架 极 不 稳定 ， 加 上 苹果 公司 的 封闭 性 ， 导 致 没有 好 的 自动 化 框架 出 现 。 底 层 控 件 点 击 接口 采用 UITEST 实 现 ， 它 是 苹果 公司 
自 带 的 集成 于 Xcode 中 ， 方 便 易 用 。 我 们 自己 开发 的 数据 配置 模块 ， 用 于 管理 脚本 数据 。 控 件 封装 层 包括 控件 操作 封装 、 弹 框 处 理 封装 、 截 图 封装 、 日 志 封 装 。CPU， 用 于 内 存 等 使 用 封装 。 


OEN 上 天 6 二 3 村 三 


图 7-15 ”UI 自动 化 架构 图 
从 图 7-15 可 以 看 出 ， 在 框架 中 会 启动 框架 监控 线程 ， 每 隔 1 分 钟 会 自动 轮训 手机 日 志 目 录 ， 查 看 时 如 果 有 完整 的 日 志 生 成 ， 则 上 传 日 志 到 日 志 分 析 系 统 。 
7.4.6 ”精准 实现 流程 小 结 
精准 实现 流程 如 下 。 
(1) 外 包 执 行 用 例 ， 获 取 用 例 代 码 关 系 库 。 
(2) SVN 模 块 监控 每 日 SVN 代 码 变更 情况 ， 分 析出 详细 变更 的 函数 ， 并 归 类 


(3) 精准 分 析 模 块 ， 将 步骤 (2) 得 到 的 浮 数 信息 进行 用 例 关系 库 匹配 ， 反 向 精准 映射 出 测试 用 例 。 没 有 覆盖 到 的 函数 先进 行 系 统 分 析 ， 分 类 输出 结果 。 那 些 机 器 不 能 识别 分 析 到 的 代码 ， 输 出 到 分 析 
结果 ， 提 示 测 试 人 员 需 要 人 工分 析 结 果 。 这 里 需要 反复 的 迭代 、 测 试 ， 学 习 不 同 分 析 模 型 ， 以 供 机 器 规律 的 分 析 结 果 


(4) 当 迁 代 版 本 的 代码 变更 很 大 时 ， 系 统 代 码 监 控 模 块 ， 监 控 处 代码 变更 数 大 于 一 定 的 阅 值 ， 提 示 需 要 对 用 例 代码 库 进行 更 新 。 该 模块 主要 包括 静态 扫描 代码 模块 ， 首 先 分 析 OC 代 码 的 AST 树 ， 然 后 
根据 浮 数 间 调 用 算法 ， 获 取 到 函数 调用 关系 链 。 对 关系 链 进行 去 重 ， 相 同根 路 径 合 并 等 ， 然 后 持久 化 。 不 同 版 本 的 函数 关系 链 进 行 适 配 ， 获 取 到 差异 化 的 路 径 信 息 ， 进 行 机 器 分 析 ， 找 出 不 同 点 。 实 现代 码 
的 静态 监控 。 然 后 外 包 重 新 执行 用 例 ， 或 者 自动 化 更 新 用 例 库 。 


(5) 接口 自动 化 测试 ， 可 以 根据 代码 变化 详情 进行 自动 化 BVT 测 试 ， 达 到 冒 烟 效 果 ， 或 者 验证 稳定 没有 变更 的 模块 。 
(6) 精准 测试 的 输出 信息 ， 提 供给 探索 式 测试 、 接 口 自动 化 测试 ， 进 行 串联 结合 使 用 。 
(7) 目前 的 难点 和 重点 方向 是 建立 不 同 的 分 析 模 型 ， 找 出 代码 的 内 在 规律 ， 分 析 大 部 分 的 代码 、 归 类 ， 为 质量 保证 提供 科学 的 数据 。 


(8) 以 后 自动 化 的 更 新 用 例 库 也 是 进展 方向 。 


7.4.7 ”精准 实践 流程 


以 手机 QQ 浏览 器 (iPhone) 的 两 个 开发 版 本 为 例 ， 介 绍 笔者 团队 精准 测试 的 具体 流程 和 实现 过 程 。 基 线 版 本 是 6.2.0.1788， 对 应 的 SVN 版 本 号 是 316299。 需 要 测试 对 比 的 版 本 是 6.2.0.1792， 对 用 的 
SVN 版 本 号 是 317024。 所 有 版 本 的 代码 准备 完成 后 ， 就 可 以 快速 开始 精准 测试 了 。 
1. 对 比 版 本 代码 之 间 的 差异 


通过 SVN 命 令 行 进行 SVN 版 本 之 间 的 对 比 ， 可 以 自动 快速 地 找 出 版 本 之 间 的 差异 代码 、 行 数 和 函数 等 信息 。 使 用 的 SVN 命 令 如 下 : 


svn diff -r r316299:r317024 SVN 代 码 地 址 


通过 这 个 命令 ， 得 到 的 结果 如 图 7-16 所 示 。 


一 一 一 src/exzample/testDiff.m (revision 316299) 
+++ src/exzample/testDiff.m (revision 317024) 
(8 -314,6 «304,7 @@ 

} 


else { 
viewController = [testDiff sharedInstance].c; 
+ [[testDiff sharedInstance].movieController play: [NSURL 
URLWithString:url]]; 
} 


Index: src/exzample/testDiffC lass. m 


--- src/exzample/testDiffClass.m (revision 316299) 
+++ src/exzample/testDiffClass.m  |(revision 317024) 
@@ -35,11 +35,11 @@ 


return fileItem; 

} 
—(Commnx)getClass:(NSStringx)fileName 
一 Commn* fileltem = nil; 

- return fileItem; 


e 
+// 
+// Commn fileItem = nil; 
+// return fileItem; 
+//} 
#pragma mark file download 
(void) Commn 


图 7-16 ”代码 差异 截图 


然后 分 析 该 代码 差异 文件 ， 得 到 新 版 本 相对 于 基准 版 本 变更 大 代码 信息 。 


def SHE DECEM st (sel func list): 
AU AUS MGEN pm 
try: 


analyse func list - [] 
before func = '' 


or func in func list: 
func init list e func.split('|') 
class name - = func init list[0] 
ce name = func init list[1] 
if "no class found' not in class name: 
class name - class | name. split('Gimplementation ')[1].rstrip() 
if ("(" in class | name and ' ' in class name): 
class name-class name.split(' ')[0]*class name.split(' ')[1] 


if '{' in class name: 
class name-class name.split('(')[0].strip() 


class name = '' 
if 'no func found' not in func name: 
func name-func name.split (")",1) [1] 
if '(' in func name: 
func name-func name.split ("[") [0] 


func name = '' 

if (":" in func — 

if func name.count (":")--1: 
func name-func name. POSEST 

if func name. count(':!) 1: 

func list = func name. ME !) 

func name = func . list[0] + ':' 

for i in range (1, len(func list)-1): 

rv 


' zn func . li ist[i]: 

name = func list[i].split(' ')[-1] 
func name = func name + name + ':' 
func str = '' 
if class name != '' and func name !- '' 

func str = class name 二 "+ e name.strip() 
if class name == '' and func name !- : 
func str = func name. SEU 


analyse func . list. "APPend (f func str) 


before func = func str 
return analyse func list 
except: E E 
traceback.format exc () 


RAES FRAR RE RE7-17R. APARE RKHadd (新 增 函 数 ) . edit (修改 函数 ) 、delete (删除 函数 ) 、 函 数 名 称 、 函 数 文件 路 径 。 


add|Common testi1:|src/common/test.m 
edit|Common test2:|src/common/test.m 
edit|Common test3:|src/common/test.m 
edit|Common test4: |src/common/test.m 
edit|Common test5: |src/common/test.m 


delete|TestClass testl:src:|src/testclass/test.m 
edit|TestClass test2:src:|src/testclass/test.m 


edit|TestClass testli:src:|src/testclass/test.m 
edit|TestClass testi:src:|src/testclass/test.m 


图 7-17 ”函数 变更 截图 
2. 建 立 关 系 链 库 
当代 码 变 更 太 多 时 ， 就 需要 更 新 关系 链 库 ， 由 于 Object-C 语 言 的 特殊 性 ， 所 以 笔者 采用 静态 分 析 和 动态 执行 用 例 两 种 方式 获取 遂 数 调用 关系 链 。 
首先 是 静态 分 析 ， 采 用 我 们 自己 开发 的 静态 分 析 工 具 ， 可 以 获取 非 动态 适 配 的 函数 调用 关系 链 。 静 态 分 析 关 系 链 图 如 图 7-18 所 示 。 


eoe 轻舟 项 目 平 台 (/Users/corincheng/Desktop/Doxyfile) 
选择 轻舟 项 目 工作 的 路 径 


| /Users/corincheng/Desktop 选择 


选择 对 比 差异 的 代码 路 径 ， 提 供 更 新 计算 


选择 新 版 本 选择 旧版 本 | | 差异 对 比 


| 工程 设置 AERE 


Stop canoe Status: running 显示 配置 保存 日 志 分 析 路 径 查询 路 径 覆盖 率 统计 SVN 更 新 动态 执行 | 


输出 轻舟 产品 
/Users/corincheng/Downloads/doxgen qz/Resources/new code/mtt/src/Components/WUP/AppCenter 


Searching for files in directory 
/Users/corincheng/Downloads/doxgen qz/Resources/new code/mtt/src/Components /WUP/AppCenter/JsAPI 

Searching for files in directory /Users/corincheng/Downloads/doxgen qz/Resources/new code/mtt/src/Components/WUP/Broker 
Searching for files in directory 
/Users/corincheng/Downloads/doxgen qz/Resources/new code/mtt/src/Components/WUP/Broker/Security 

Searching for files in directory /Users/corincheng/Downloads/doxgen qz/Resources/new code/mtt/src/Components/WUP/MTT 
Searching for files in directory /Users/corincheng/Downloads/doxgen qz/Resources/new code/mtt/src/Components/WUP/QBID 
Searching for files in directory 
/Users/corincheng/Downloads/doxgen qz/Resources/new code/mtt/src/Components/WUP/QBID/IDCenter 

Searching for files in directory 
/Users/corincheng/Downloads/doxgen qz/Resources/new code/mtt/src/Components/WUP/QBID/IDCenter/IDCenter4Client 

Searching for files in directory 
/Users/corincheng/Downloads/doxgen qz/Resources/new code/mtt/src/Components/WUP/QBID/IDCenter/IDCenterCommon 

Searching for files in directory /Users/corincheng/Downloads/doxgen qz/Resources/new code/mtt/src/Components /WUP/RMIModel 
Searching for files in directory 
/Users/corincheng/Downloads/doxgen qz/Resources/new code/mtt/src/Components/WUP/Serializable 

Searching for files in directory /Users/corincheng/Downloads/doxgen qz/Resources/new code/mtt/src/Components/WUP/WupUser 
Searching for files in directory /Users/corincheng/Downloads/doxgen qz/Resources/new code/mtt/src/Mobile 

Searching for files in directory /Users/corincheng/Downloads/doxgen qz/Resources/new code/mtt/src/Other Sources 

Reading and parsing tag files 

Parsing files 

Preprocessing 
/Users/corincheng/Downloads/doxgen qz/Resources/new code/mtt/src/Business/Browser/BrowseWindow/AppBrowseUnit.m... 


HTML 展 示 | 


图 7-18 ”静态 分 析 关 系 链 图 


该 工具 的 实现 原理 参考 第 7.4.2 节 的 内 容 。 得 到 的 函数 调用 关系 链 保存 在 本 地 的 sqlite 数 据 库 中 。 


其 次 是 动态 分 析 建 立 用 例 与 关系 链 的 调用 关系 。 实 现 原 理 参考 第 10.4.3 所 示 的 内 容 。 根 据 手工 执行 的 用 例 ， 让 外 包 人 员 执 行 这 些 用 例 ， 然 后 会 得 到 与 该 用 例 相 关 的 函数 调用 关系 链 ， 将 用 例 和 关系 链 对 
应 保存 在 关系 链 数据 库 中 ， 作 为 后 续 对 比 测试 的 参考 标准 。 


3. 反 推 用 例 及 测试 点 
经 过 前 面 几 步 ， 得 到 用 例 关 系 对 应 库 和 SVN 版 本 变更 代码 ， 根 据 这 些 可 以 计算 出 该 版 本 的 测试 点 : 测试 用 例 、 测 试 模块 、 函 数 覆 盖 度 等 几 个 标准 。 
通过 变更 函数 在 用 例 函 数 对 应 关系 链 中 搜索 数据 ， 碍 询 条 件 是 变更 函数 ， 碍 询 结果 是 测试 用 例 ， 这 样 就 可 以 输出 变更 函数 所 影响 的 测试 用 例 了 。 变 更 结果 统计 信息 分 别 如 表 7-1 和 表 7-2 所 示 。 


表 7-1 对 比 版 本 


基线 版 本 2016-09-22 21:45:59 316299 


对 比 版 本 2016-09-31 21:20:56 317024 


A72 ”FT 统计 信息 


FT 名 称 用 例 覆 盖 率 ET 覆盖 率 新 增 覆 盖 率 告警 
EC EE 
n 


查询 得 到 的 用 例 结果 如 表 7-3 所 示 。 


表 7-3 用例 结果 


Xxxl 234097 访问 点 登录 有 网 页 


每 个 版 本 都 会 根据 变更 的 函数 信息 反 推 出 需要 测试 的 用 例 。 外 包 就 可 以 执行 该 用 例 ， 覆 盖 变 更 的 国 数 ， 当 遇 到 新 增 函 数 时 ， 需 要 添加 用 例 或 者 更 新 用 例 关 系 库 。 

4. 用 例 关 系 库 更 新 原理 

当 被 测试 版 本 对 比 基 准 版 本 、 国 数 变更 达到 阔 值 时 ， 就 需要 更 新 用 例 关 系 库 。 这 个 阔 值 是 多 少 ， 需 要 各 个 项 目 根 据 自己 的 情况 决定 ， 比 如 : 

高 频 调 用 函数 为 A、B、C、D，SVN 变 更 水 数 A、B 

根据 高 频率 函数 排 定 优先 级 ，N 次 调用 的 优先 级 AIN]。 

再 比如 : 

动态 路 径 是 为 S 一 A 一 B 一 C， 静 态 路 径 为 Q 一 S 一 A 一 B 一 F。 

这 样 就 可 以 判定 该 路 径 覆 盖 成 功 。 浏 览 器 的 函数 变更 超过 20% 时 ， 需 要 更 新 用 例 关 系 库 。 对 比 版 本 之 间 的 函数 差异 率 ， 如 表 7-4 所 示 ， 第 五 行 的 差异 率 已 大 于 20%， 需 要 更 新 。 


表 7-4 版 本 差异 率 


7.4.8 ”精准 解决 问题 


1. 如 何 度量 测试 范围 ， 安 排 测试 计划 


通过 代码 分 析 和 SVN 代 码 变更 监控 ， 能 够 很 好 地 监控 出 每 日 代码 变化 的 详细 状况 ， 并 且 分 析出 测试 的 指导 方向 ， 包 括 推出 的 用 例 、 新 增 用 例 履 盖 、ET 用 例 履 盖 、 告 警 等 内 容 。 测 试 人 员 可 以 根据 这 些 指 
导 内 容 安排 测试 计划 。 

2. 如 何 减少 重复 的 人 工 测试 

每 日 和 迭代 时 会 推出 自动 用 例 ， 这 些 都 是 以 前 验证 过 的 功能 点 变更 ， 所 以 可 以 使 用 自动 化 脚本 测试 这 些 用 例 来 减少 人 工 重复 劳动 。 

回归 时 ， 我 们 可 以 只 关注 功能 变化 的 部 分 ， 没 有 变化 的 部 分 ， 我 们 不 会 太 重点 关注 或 者 使 用 自动 化 验证 。 

3. 如 何 定义 测试 过 程 的 质量 标准 

这 一 块 我 们 还 处 于 探索 中 ， 一 些 标准 数据 还 没有 积累 出 来 ， 需 要 根据 项 目的 实际 情况 ， 如 人力、 技术 条 件 、 风 险 等 得 出 数据 。 

4. 如 何 度量 测试 人 员 的 工作 效率 和 质量 


可 以 通过 代码 覆盖 程度 初步 判断 测试 人 员 的 测试 程度 ， 也 可 以 通过 辅助 用 例 数 、 用 例 复 杂 度 、 发 现 的 有 效 Bug 数 进行 判定 。 


75 zw 
本 章 主 要 介绍 了 在 iOS 平 台 上 实现 精准 测试 的 过 程 ， 实 际 上 业界 对 精准 测试 还 存在 很 多 疑问 和 挑战 。 评 估 精 准 测试 的 成 功 与 否 主要 在 于 投入 产 出 比 ， 而 制约 投入 产 出 比 的 就 是 用 例 与 代码 之 间 关 联 的 生成 


和 维持 成 本 。 目 前 在 QQ 浏览 器 (iPhone) 项 上 目 上 采用 人 工 或 者 部 分 自动 化 执行 用 例 来 获取 被 执行 的 代码 ， 从 而 生成 天 联 。 如 果 代码 发 生 大 量 重 构 需要 更 新 关联 关系 ， 就 需要 再 次 执行 用 例 。 无 论 是 采用 自 
动 化 方式 还 是 人 工 方式 ， 成 本 都 比较 高 ， 最 佳 方式 是 从 代码 反 推 用 例 ， 这 可 能 需要 模型 学 习 的 方法 。 


第 三 部 分 ”通用 测试 实 跤 


第 8 章 “探索 式 测试 
-BIE ”标准 化 测试 


“ 第 10 章 ”缺陷 分 析 


第 8 草 "探索 式 测试 


8.1 引言 


测试 人 员 一 般 都 会 遇 到 这 样 一 种 情况 : 自由 测试 阶段 往往 比 执行 用 例 时 更 容易 发 现 问题 ， 尤 其 是 在 进行 过 一 轮 用 例 测试 后 ， 回 归 测 试 和 集成 测试 中 通过 执行 用 例 能 够 发 现 的 问题 几乎 很 少 (“农药 悖 
论 ” 理 论 ) 。 因 此 大 多 数 人 提议 放弃 用 例 执行 ， 改 为 自由 测试 。 那 么 问题 就 来 了 ， 已 解决 的 Bug 又 出 现 了 怎么 办 ， 自 由 测试 中 怎么 度量 测试 质量 ,不 同 的 人 执行 测试 的 差异 怎么 平衡 ,测试 经 验 如 何 传承 ， 


为 了 回答 这 些 问 题 ， 接 下 来 介绍 业界 比较 流行 的 探索 式 测试 ， 并 重点 前 述 我 们 在 测试 工作 中 是 怎样 实践 探索 式 测试 的 。 


第 8 章 "探索 式 测试 


81 引言 


测试 人 员 一 般 都 会 遇 到 这 样 一 种 情况 : 自由 测试 阶段 往往 比 执行 用 例 时 更 容易 发 现 问题 ， 尤 其 是 在 进行 过 一 轮 用 例 测试 后 ， 回 归 测 试 和 集成 测试 中 通过 执行 用 例 能 够 发 现 的 问题 几乎 很 少 (“ 农 药 悖 
论 ” 理 论 ) 。 因 此 大 多 数 人 提议 放弃 用 例 执行 ， 改 为 自由 测试 。 那 么 问题 就 来 了 ， 已 解决 的 Bug 又 出 现 了 怎么 办 ， 自 由 测试 中 怎么 度量 测试 质量 ,不 同 的 人 执行 测试 的 差异 怎么 平衡 ， 测 试 经 验 如 何 传承 ， 


为 了 回答 这 些 问题 ， 接 下 来 介绍 业界 比较 流行 的 探索 式 测试 ， 并 重点 剖 述 我 们 在 测试 工作 中 是 怎样 实践 探索 式 测试 的 。 


8.2 ”探索 式 测试 的 友 展 史 


20 世 纪 60 年 代 ， 人 们 就 发 现 偏离 预 设 的 用 例 进 行 测试 能 够 发 现 更 多 的 问题 。 很 多 时 候 ， 我 们 称 这 种 行为 为 自由 测试 、 随 机 测试 、monkey 测 试 。 发 展 到 一 定 的 阶段 后 ， 经 历 了 方法 论 建设 ， 这 种 行为 又 
被 演绎 为 探索 式 测试 。 所 有 的 概念 都 要 先 了 解 其 形成 过 程 ， 才 能 更 好 地 理解 现在 的 发 展 情况 。 探 索 式 测试 也 不 是 凭空 而 来 的 ， 到 目前 为 止 ， 大 致 经 历 了 四 个 阶段 ( 见 图 8-1) [10]， 其 中 ET 是 Exploratory 
Testing 的 缩写 。 


ET 1.0 ET 1.5 ET 2.0 ET 3.0 
[ 1961—1995 ] [ 1995—2000 ] 【 2000—2010 ] [2010—24 ] 
随机 测试 局 发 式 、SBTM 测试 风格 思考 即 测 试 


图 8-1 探索 式 测试 的 发 展 


8.2.1 ET1.0 


[1961——1995] "Put aside your scripts and look at the product! Interact with it! Find Bugs! " 


人 们 发 现在 做 没有 用 例 的 自由 测试 时 能 够 发 现 更 多 的 Bug。 探 索 式 测试 作为 一 种 术语 和 理论 的 第 一 次 迭代 ， 叶 在 脱离 脚本 的 束缚 ， 给 “更 好 的 测试 ” 腾 出 空间 。 — “把 你 的 脚本 放 到 一 边 去 ， 观 察 产品 ， 


与 它 交 互 ， 友 现 错误 ! ”探索 式 测试 的 拥护 者 将 探索 式 测试 视 为 一 种 技术 ， 直 到 现在 仍然 有 许多 人 持 有 此 观点 。 当 然 ， 从 现在 的 视角 来 看 ， 用 这 种 方式 表达 探索 式 测试 是 错误 的 ， 但 在 当时 具有 一 定 的 指导 
意义 。 
8.2.2 ET1.5 


[1995——2000] "Compare and contrast the important structures of scripted and exploratory testing and the relationships between them" 


这 个 阶段 主要 是 在 纯粹 的 随机 测试 中 加 入 了 引导 性 因子 。 启 发 式 探索 式 测 试 在 此 阶段 提出 。 启 发 式 探索 式 测试 为 实时 测试 者 提供 了 全 面 的 底层 测试 模型 作为 参考 ， 引 导 和 规范 探索 式 测 斌 活动。 人 们 开 
始 比较 脚本 和 探索 式 测试 的 结构 及 其 关系 ， 而 不 再 是 将 其 视 为 感觉 上 的 不 同 活动 。James A.Whittaker 在 此 期 间 还 尝试 区 分 随机 测试 和 探索 式 测试 ， 探 索 式 测试 是 有 技能 的 ， 更 具备 描述 性 的 活动 。2000 年 
引入 了 基于 测 程 的 测试 管理 (SBTM) ， 提 高 探索 式 测试 在 项 目 上 的 可 管理 性 。 


8.2.3 ET2.0 


[2000——2010] "This is a sliding bar on which testing ranges from completely exploratory to completely scripted." 
在 这 个 阶段 ， 人 们 认为 所 有 的 测试 活动 都 是 在 纯 探 索 式 和 纯 脚本 测试 之 间 的 范围 。 停 止 将 探索 式 测试 称 为 一 种 技术 ， 取 而 代 之 的 是 称 为 适用 于 技术 的 测试 风格 。2006 年 定义 了 “同时 进行 学 习 、 测 试 设 
计 和 测试 执行 ”的 探索 式 测试 的 简单 定义 。 还 提出 了 “检查 ”是 可 以 自动 化 的 ，“ 测 试 ”是 不 可 自动 化 的 ， 以 及 “ 非 智慧 ”和 “智慧 ”行为 的 差异 性 。 


8.24 ET3.0 


[2010——2015] "The differences between mimeo-morphic actions and poli-morphic actions." 


发 展 到 这 个 阶段 ， 只 要 是 富有 责任 并 感 带 着 思考 力 去 做 测试 ， 就 是 在 做 探索 式 测 试 ， 在 测试 过 程 中 利用 线索 ， 积 极 去 思考 ， 抛 弃 固化 的 思维 进行 测试 。 另 外 一 方面 ， 脚 本 测试 可 以 对 测试 人 员 进 行 帮 
助 ， 或 者 将 脚本 测试 视 为 一 种 可 用 的 工具 或 者 技术 。 最 终 人 们 做 的 是 一 种 有 脚本 化 的 探索 式 测试 。 


现 阶段 比较 通用 的 探索 式 测试 应 该 还 是 ET 2.0 以 及 之 前 的 内 容 ，ET 3.0 固 然 与 时 俱 进 ， 但 是 在 指导 现 阶 段 的 测试 工作 来 说 还 是 有 些 务虚 的 成 分 。 我 们 可 以 从 思想 高 度 上 达到 ET 3.0 的 境界 ， 即 测试 就 是 探 
索 式 测试 ， 否 则 就 没有 思考 力 的 机 械 行 为 。 但 是 实际 指导 测试 工作 ， 可 以 结合 ET 2.0 之 前 的 方式 开展 。 


8.3 ”探索 式 测 斌 入 门 实践 


把 大 象 装 进 冰 箱 有 三 个 步骤 ( 见 图 8-2) ， 探 索 式 测试 实践 的 开展 也 有 三 部 曲 。 


图 8-2 ”大 象 装 进 冰 箱 的 三 个 步骤 


本 章 主要 讲解 进行 纯 探索 式 测试 的 专项 测试 应 该 有 哪些 准备 工作 ， 以 及 实践 是 怎么 展开 的 。 图 8-3 所 示 的 是 探索 式 ;测试 入 门 实践 的 三 个 步骤 ,分别 是 实践 前 提 、 实 践 过 程 和 实践 后 续 。 


图 8-3 ”实践 步 又 


8.3.1 ”实践 前 提 
从 图 8-3 可 以 看 出 ， 进 行 探索 式 测试 实践 活动 ， 在 实践 前 要 有 一 个 准备 工作 。 主 要 有 两 点 ， 即 概念 学 习 和 基础 练习 。 
1. 概 念 学 习 
主要 对 业界 主流 的 漫游 模型 和 基础 方法 的 了 解 ， 推 荐 james A.Whittaker 编 写 的 《探索 式 软件 测试 》 一 节 。 
如 果 想 快速 学 习 ， 也 可 以 参考 下 面 几 个 表格 。 表 8-1 是 以 QQ 浏览 器 产品 为 例 介绍 各 个 区 域 的 划分 ， 表 8-2 是 介绍 漫游 模型 中 不 同 区 域 推荐 的 测试 法 及 测试 法 的 具体 含义 [1]。 
表 8-1 QQ 浏览 器 特性 拆 分 区 域 
商业 区 浏 虎 融 功 能 介绍 的 哪些 特性 ， 如 小 窗口 播放 、 览 屏 穿越 等 
历史 区 老 的 功能 如 书签 、 离 线 阅 读 ， 缺 陷 修 复 代 码 


有 些 特性 和 功能 对 新 用 户 非常 有 吸引 力 ， 然 而 老 用 户 几 乎 不 大 使 用 它们 ， 例 如 快捷 工具 的 动画 歼 
宁 和 开关 设置 


娱乐 区 韭 主线 特性 ， 如 分 享 、 二 维 码 扫描 等 
旅馆 区 测试 计划 中 较 少 描述 的 次 要 功能 和 辅助 功能 ， 如 后 退 功 能 、 字 体 大 小 、 夜 间 模 式 等 
破旧 区 很 少 提 及 的 特性 ， 例 如 弱 网 络 、 下 载 出 错 后 重新 下 载 ， 履 盖 安 装 后 书签 或 文件 的 保存 


旅游 区 


表 8-2 漫游 测试 模型 区 域 推荐 测试 法 


区 域 划分 | ”探索 测试 方法 fX HI PT 


商业 区 — | 指南 针 测 试 法 要 求 测试 人 员 通 过 阅读 用 户 手 册 并 严格 遵照 用 户 手 册 的 建议 执行 操作 


(5E) 


区 域 划分 | ”探索 测试 方法 代表 用 户 行为 


— 使 用 竞争 对 手 的 用 户 手册 来 测试 自己 的 软件 。 这 非常 适合 竞争 对 手 是 市 场 领 
acid 先 者 ， 而 自己 产品 在 其 后 紧 追 希望 超越 对 手 的 情况 


通过 指南 针 测试 法 和 卖点 测试 法 ， 可 以 提前 确定 关键 的 软件 特性 ， 也 就 是 这 
里 的 地 标 。 选 择 完 地 标 后 ， 需 确定 它们 的 顺序 ， 然 后 从 一 个 地 标 执行 到 邦 一 个 
地 标 ， 直 到 访问 列表 中 所 有 的 地 标 。 地 标 变 种 : 选择 多 个 起 始 地 标 ， 在 执行 开 
始 后 增加 新 地 标 ， 并 改变 各 个 地 标的 前 后 访问 顺序 等 


问 软 件 提出 很 多 难以 回答 的 问题 。 比 如 如 何 使 软件 功能 发 挥 到 最 大 作用 ， 哪 
个 特性 会 使 软件 运行 到 其 设计 极限 ， 哪 些 输入 数据 会 耗费 软件 最 多 的 运算 能 力 ， 
哪些 输入 可 能 欺骗 它 的 错误 检测 例 程 。 如 采 软 件 用 于 产生 茶 些 特定 的 输出 ， 则 
使 用 哪些 输入 和 内 部 数据 可 以 不 断 挑 战 软件 的 这 种 能 


这 种 测试 法 中 ， 测 试 人 员 应 该 专注 于 数据 。 应 该 确认 那些 被 存储 起 来 的 输入 
数据 并 “跟随 ”它们 走 遍 软件 


营业 时 间 后 ， 软 件 中 执行 卖点 测试 的 代码 可 能 不 能 运行 了 ， 但 是 还 可 能 执行 
各 种 维护 任务 ， 将 数据 归档 、 备 份 文 件 ， 等 等 


通过 选 定 一 个 目标 (如 所 有 的 菜单 项 ， 所 有 错误 消息 或 所 有 对 话 框 )， 然 后 使 
遍历 测试 法 用 可 以 发 现 最 短路 径 来 访问 目标 包含 的 所 有 对 象 。 测 试 中 不 追求 细节 以 免 影 啊 
测试 速度 ， 只 检查 那些 明显 的 东西 


测试 人 员 不 能 提前 预知 哪些 软件 特性 称 得 上 亚 邻 ， 随 着 测试 的 深入 ， 可 以 把 
恶 邻 测试 法 缺陷 数目 同 产品 特性 联系 起 来 。 由 于 缺陷 通 稼 扎堆 出 现 ， 因 此 产品 缺陷 多 的 地 
方 值得 反复 测试 


主要 针对 遗留 代码 ， 最 初 的 开发 人 员 已 经 离开 了 很 长 时 间 ， 而 且 缺 乏 文档 。 
博物 馆 测 试 法 在 这 种 测试 法 中 ,测试 人 员 应 该 找 出 那些 遗留 代码 和 老 的 可 执行 文件 ， 并 确保 
它们 在 测试 中 受到 与 新 代码 同样 的 待遇 


如 果 当 前 产品 构造 是 对 先前 版 本 的 更 新 ， 则 必须 先 运行 先前 版 本 上 支持 的 所 
有 场景 和 测试 用 例 


收藏 家 法 用 户 同 时 开局 了 很 多 个 不 同 的 功能 


哪个 特性 需要 点 入 次 才能 被 用 到 ? 选 定 那 个 特性 ， 一 路 点 过 去 ， 然 后 测试 
E; 哪个 特性 需要 经 过 最 多 的 界面 才能 访问 ? 选 定 它 ， 然 后 进行 测试 。 这 里 的 
主要 思想 是 到 达 目 的 地 之 前 尽量 多 地 在 应 用 程序 中 穿行 。 选 择 长 的 路 径 ， 把 埋 
在 应 用 程序 最 次 处 的 界面 作为 测试 目标 


这 种 测试 法 要 求 测试 人 员 去 关心 那些 表面 的 东西 ， 只 测试 界面 。 测 试 中 注意 
观察 界面 上 的 各 种 元 素 。 它 们 看 上 去 怎么 样 ? 有 没有 被 正确 地 泻 染 出 来 ? 它们 
的 性 能 是 否 民 好 ? 界面 变化 时 ， 用 户 界 面 刷 新 情况 如 何 ” 如 果 软 件 用 颜色 来 传 
达 某 种 意思 ， 这 种 信息 是 否 一 致 ? 界面 是 否 违 反 了 任何 惯例 或 标准 


用 户 同时 在 不 同 地 方 操作 同一 个 用 户 数 据 对 象 ， 指 测试 同时 运行 同一 应 用 程 
序 多 个 拷贝 的 情况 。 让 各 个 程序 在 内 存 中 做 些 事 情 ， 同 时 在 磁盘 上 做 些 事情 。 
试 者 用 所 有 的 不 同 拷贝 同时 打开 同一 个 文件 ， 或 者 让 它们 同时 在 网 络 上 传输 数 
据 。 备注: 为 什么 叫 测 一 送 一 ， 因 为 如 果 在 一 个 找 贝 上 发 现 了 一 个 缺陷 ， 那 么 
在 所 有 的 拷贝 上 会 发 现 同样 的 缺陷 

特别 适合 大 规模 的 复杂 应 用 程序 。 在 这 些 应 用 程序 的 有 些 地 方 ， 测 试 人 员 需 
严格 兰 酒吧 测试 法 | 要 事先 知道 如 何 去 找 到 它们 。 也 就 是 说 ， 要 找到 用 户 组 并 参与 其 讨论 ， 可 阅读 
产业 博客 ， 花 大 量 时 间 深 入 了 解 待 测 的 应 用 程序 


地 标 测 试 法 


极限 测试 法 


快递 测试 法 


URBC TAA 


历史 区 


上 一 版 本 测试 法 


长 路 径 测 试 法 


超 模 测试 法 
旅游 区 


区 域 划分 | ”探索 测试 方法 代表 用 户 行 为 

或 励 测 试 人 员 专 注 于 茶 些 特定 的 特性 ， 它 们 虽然 不 是 我 们 乔 望 用 户 使 用 的 主 
要 特性 ， 但 会 与 那些 主要 的 特性 一 同 出 现在 显示 各 上 

建议 测试 人 员 测 试 该 使 用 情况 列表 中 排 在 最 下 面 的 几 项 特性 。 这 种 测试 法 要 
诛 巷 测试 法 求 测试 人 员 想 办 法 去 测试 还 没有 测试 到 的 代码 。 深 港 测试 法 的 一 个 变种 一 一 混 
合 测试 法 ， 演 试 将 最 流行 的 和 最 不 流行 的 特性 放 在 一 起 混合 测试 


配角 测试 法 


娱乐 区 


通宵 测试 法 这 里 的 关键 是 通宵 ， 必 须 从 不 中 断 ， 让 程序 一 二 运行 ， 而 不 去 关闭 它 
其 思想 是 局 动 操作 ， 然 后 停止 它 。 也 可 以 尝试 开始 一 个 操作 ， 不 要 停止 它 ， 
取消 测试 法 然后 开始 为 一 个 同样 的 操作 。 我 们 假定 用 户 偶尔 会 取消 一 些 操 作 ， 但 是 他 马上 


又 重新 做 了 一 次 相同 的 操作 


有 时 候 什 么 也 不 做 反而 会 迫使 软件 执行 得 更 蛇 忙 ， 因 为 当 用 户 留 下 数据 字体 
空 日 时 ,程序 正在 用 If-Then-Else 条 件 中 的 Else 来 寻找 下 一 步 要 做 什么 ; 当 用 
户 不 做 决定 时 ， 默 认 的 逻辑 也 会 执行 大 量 的 操作 。 人 懒汉 测试 法 是 指 测试 人 员 做 
尽量 少 的 实际 工作 


在 这 种 方法 中 ， 我 们 会 试图 利用 每 种 可 能 的 机 会 暗中 破坏 应 用 程序 ， 强 迫 软 
件 做 一 些 操作 。 和 苞 握 软件 成 功 完成 操作 必须 使 用 的 资源 ; 在 不 同 程度 上 移 除 那 
些 资 源 或 限制 使 用 的 资源 


要 求 输入 最 不 可 能 的 数据 ,或 者 已 知 的 恶意 输入 。( 岂 逆 癌 测试 法 : 每 次 都 输 
入 那些 最 不 可 能 的 数据 。@) 隶 徒 测试 法 : 这 是 关于 如 何 处 理 非法 输入 的 测试 法 。 
基本 想法 是 输入 一 些 不 应 该 出 现 的 数据 ， 违 反 规 则 的 数据 等 。@) 错 序 测试 法 : 
要求 测试 人 员 按 错误 的 顺序 做 事情 。 选 择 一 组 合法 的 行为 ， 将 它们 混在 一 起 ， 
造成 前 后 顺序 不 合法 。 例 如 在 购物 车 空 的 时 候 结账 ， 或 者 退还 一 个 没 严 的 作 
物 等 


强迫 症 测试 法 反复 执行 同样 的 操作 


旅馆 区 


懒汉 测试 法 


破旧 区 
反叛 测试 法 


通过 阅读 James A.Whittaker 的 原著 ,或 者 根据 我 们 推荐 的 文章 以 及 上 面 的 图 表 ， 测 试 人 员 需 要 熟练 掌握 区 域 划 分 方法 、 各 个 区 域 具体 方法 的 含义 。 熟 悉 这 些 内 容 并 不 是 要 生 搬 硬 套 使 用 ， 而 是 要 掌握 
一 种 类 似 “ 心 法 ”的 口 决 。 在 后 面 整理 我 们 的 思路 或 者 测试 方法 时 能 够 起 到 重要 的 作用 。 


一 般 来 说 ， 一 个 有 测试 经 验 的 人 在 1 周 内 应 该 能 够 熟练 掌握 这 些 区 域 划分 和 基础 方法 概念 。 因 此 实践 中 ， 我 们 给 予 测试 人 员 基 础 概念 的 学 习 不 会 超过 1 周 ， 另 外 还 可 以 通过 已 经 掌握 的 人 来 分 享 这 个 加 速 
过 程 ， 在 2~3 天 内 快速 掌握 各 个 方法 。 


2. 基 础 练习 
前 面 说 的 掌握 概念 ， 还 需要 一 个 检验 和 熟练 的 过 程 ， 也 就 是 我 们 说 的 基础 练习 。 在 实践 中 有 两 种 尝试 办 法 。 


一 种 是 对 过 往 的 Bug 进 行 回溯 分 析 ， 当 时 发 现 这 个 Bug， 所 运用 的 思路 属于 哪 种 基础 方法 ， 如 “【 文 件 】txt 文 件 横 屏 打开 不 显示 状态 栏 ”， 这 个 操作 涉及 超 模 测试 法 (观察 整体 Ul 显示 ) ， 涉 及 反叛 测 
试 法 ( 横 屏 查看 ) 。 


每 个 人 将 自己 过 往 的 10~20 个 Bug 进 行 归 类 ， 就 可 以 理 顺 清楚 自己 之 前 的 思路 和 探索 式 测试 推荐 的 方法 的 同性 之 处 。 如 果 有 完全 无 法 选择 的 Bug， 可 以 用 多 种 组 合 方法 的 形式 进行 标注 ， 也 可 以 命名 全 
新 的 方法 。 我 们 做 这 个 练习 的 目的 不 是 为 了 生 搬 硬 套 探索 式 测 试 方法 ， 而 是 想 让 测试 人 员 对 基础 方法 的 掌握 有 个 心理 适应 期 ， 达 到 熟 能 生 巧 ， 多 样 化 创新 的 目的 。 


接着 介绍 第 二 种 练习 方法 ， 这 个 方法 要 和 实践 联系 起 来 。 在 实际 测试 任务 中 ， 根 据 被 测 模块 的 特性 选择 几 种 推荐 方法 ， 按 照 推 荐 方法 的 思路 进行 思考 ， 发 现 Bug。 这 种 方法 ， 建 议 进 行 2~ 3 次 测试 实践 
尝试 。 可 以 帮助 测试 人 员 通 过 练习 推荐 方法 来 引导 测试 思路 ， 能 够 将 思路 更 加 有 序 化 。 当 然 每 个 模块 的 推荐 方法 也 可 以 找 有 经 验 的 测试 人 员 进 行规 划 ， 在 进行 完 第 一 次 尝试 后 ， 可 以 由 实践 的 测试 人 员 自 行 
规划 推荐 ， 然 后 再 执行 。 


这 个 基础 练习 做 来 做 去 的 终极 目标 是 有 序 化 测试 人 员 的 思路 ， 将 散乱 的 经 验 系统 化 。 
8.3.2 ”实践 过 程 
在 测试 人 员 掌 握 了 基本 的 探索 式 测 试 方法 后 ， 可 以 展开 真正 的 实践 活动 。 我 们 分 三 部 分 进行 介绍 。 
1. 测 试 章程 
所 谓 测试 章程 ， 其 实 是 一 个 测试 策略 的 呈现 。 任 何 一 件 事 开始 前 ， 都 要 知道 预期 目标 。 因 此 我 们 的 测试 章程 也 分 为 两 个 部 分 ， 分 别 是 测试 说 明和 规划 图 。 
测试 说 明 是 什么 ? 是 指 用 于 指导 测试 方向 的 说 明 。 举 例 来 说 ， 本 次 测试 浏览 器 中 的 播放 视频 功能 。 测 试 说 明 如 下 。 
本 次 重 构 了 播放 视频 的 代码 ， 需 要 测试 视频 的 功能 正常 性 。 关 注 : 
不 同 机 型 系统 、 显 示 模 式 下 的 正常 功能 。 


重 构 后 对 小 窗口 播放 的 基础 功能 是 否 产 生 影响 ? 


各 类 型 视频 格式 是 否 能 够 正常 播放 ? 

播放 器 各 个 功能 按钮 是 否 逻 辑 正 常 ? 

长 时 间 使 用 耗 电 、 稳 定性 、 锁 屏 唤 醒 如 何 ? 
各 个 视频 源 下 载 受 到 影响 吗 ? 


我 们 来 分 析 这 个 测试 说 明 ， 其 存在 的 必要 性 在 于 互联 网 软件 测试 ， 尤 其 移动 App 测 试 大 多 是 敏捷 开发 流程 ， 很 多 需求 缺乏 详细 的 需求 交互 文档 ， 改 动 频繁 。 这 种 情况 下 ， 测 试 说 明 就 要 起 到 一 个 辅助 需 
求 说 明 的 作用 ， 将 口头 的 需求 或 者 抽象 的 需求 更 加 明晰 化 ， 对 测试 人 员 才 有 实际 的 指导 意义 。 


引导 测试 方向 ， 在 进行 探索 式 测试 过 程 中 ， 时 刻 提醒 自己 当前 测试 最 终 要 确认 的 几 个 验证 目标 。 在 进行 探索 式 测试 时 ， 始 终 明白 自己 探索 的 方向 是 什么 ， 围 绕 一 个 什么 问题 来 寻求 答案 。 


那 规划 图 是 什么 ” 它 是 用 于 规划 测试 影响 范围 的 图 。 例 如 ， 昌 然 有 了 明细 的 测试 说 明和 测试 方向 ， 但 是 探索 式 测试 尚 缺 一 张 “ 寻 宝 图 ”， 这 个 寻宝 图 可 以 标 出 可 能 存在 问题 的 点 ， 可 以 要 求 覆 盖 的 内 容 
全 面 ， 但 是 具体 的 测试 组 合 内 容 不 限定 ， 如 图 8-4 所 示 。 


图 8-4 视频 模块 规划 图 


图 8-4 是 关于 视频 模块 放 在 整个 浏览 器 以 及 整个 手机 平台 上 来 标 出 所 有 可 能 的 影响 点 。 这 些 影响 点 不 一 定 是 Bug， 但 是 Bug 一 定 在 整个 过 程 中 。 要 想 发 现 问题 ， 就 得 把 这 些 独 立 的 点 串 起 来 ， 至 于 选择 什 
么 路 径 ， 这 就 是 探索 式 测 试 中 的 自由 了 ， 由 测试 人 员 掌 握 。 可 以 结合 以 往 的 经 验 进行 探索 ， 也 可 以 另辟蹊径 去 “寻宝 ”。 


做 这 个 规划 图 ， 主 要 是 在 实际 进行 探索 式 测试 时 给 测试 人 员 提 供 具 体 的 风险 提示 作用 ， 在 测试 人 员 掌 握 了 探索 式 测 试 基础 方法 后 ， 结 合 可 能 出 现 问 题 的 风险 深入 挖掘 。 


2. 测 试 记 录 
有 了 测试 章程 后 ， 进 行 实际 测试 时 ， 与 传统 自由 测试 的 不 同 点 在 于 ， 探 索 式 测试 有 测试 记录 的 要 求 。 首 先 来 看 为 什么 要 做 测试 记录 ， 原 因 有 以 下 两 点 。 


探索 式 测试 最 终 要 输出 一 个 测试 结果 ， 而 这 个 结果 需要 中 间 过 程 的 支撑 ， 即 过 程 记录 来 提供 数据 或 者 论据 。 这 个 过 程 记录 也 可 以 作为 事后 的 个 人 Review 和 他 人 查询 。 


过 程 中 的 记录 能 够 忠实 反映 整个 探索 过 程 ， 并 记录 中 间 进 发 出 来 的 思维 火花 或 者 疑问 。 探 索 式 测试 是 一 个 基于 以 上 一 步 结果 来 判断 下 一 步 走向 的 过 程 ， 因 此 过 程 中 会 出 现 很 多 问题 以 及 突 发 情况 ， 这 些 
都 需要 记录 下 来 ， 便 于 后 续 讨 论 和 探索 。 


我 们 对 测试 记录 的 要 求 并 不 固定 。 只 要 能 在 测试 汇报 中 提供 有 效 信息 和 数据 就 可 。 具 体 怎 样 操作 要 视 项 目 情况 而 定 。 下 面 先 列举 两 种 情况 。 


. 正式 员工 + 半熟 手 外 包 。 这 种 情况 下 ， 建 议 采 用 参与 式 测试 管理 方法 。 何 谓 参与 式 ? 即 测试 经 理 (这 里 一 般 是 正式 人 员 带 领 外 包 人 员 做 测试 ， 因 此 正式 人 员 就 是 测试 经 理 ) 实际 指导 测试 ， 而 不 是 完 
全 外 包 出 去 的 那 种 工作 模式 。 这 种 情况 为 了 训练 半熟 手 外 包 测 试 能 够 系统 化 测试 思路 ， 建 议 由 测试 经 理 来 划分 测试 区 域 ， 并 推荐 测试 方法 ， 外 包 根 据 指定 的 测试 方法 结合 规划 图 和 测试 章程 进行 测试 。 每 种 
测试 方法 提出 若干 路 径 ， 同 时 提出 新 的 测试 方法 。 这 种 做 法 的 好 处 是 减少 测试 的 漫 无 目的 性 。 


` 正式 员工 或 者 经 验 丰富 的 外 包 。 这 种 情况 下 ， 测 试 人 员 具 备 丰 富 的 经 验 ， 可 以 不 拘泥 于 探索 式 测试 基础 方法 ， 而 采用 自己 的 一 套 思路 。 记 录 者 按照 自己 列 的 三 个 要 素 进行 排列 组 合 ， 最 后 只 列 出 问 
题 、 建 议和 疑问 点 。 这 种 情况 下 ， 需 要 测试 人 员 在 最 后 的 汇报 环节 清楚 地 说 明 自 己 的 整个 思路 及 窗 盖 的 范围 和 深度 即 可 。 


另外 ， 关 于 测试 记录 的 提交 时 间 又 涉及 另外 一 个 概念 ， 即 测试 时 间 。 


测试 时 间 ， 即 测 程控 制 ， 一 般 来 说 ， 一 次 测 程 以 30 分 钟 为 宜 。 过 长 则 导致 测试 思维 疲惫 ， 对 之 前 的 测试 内 容 产生 遗志 ;过 短 则 无 法 进行 完整 的 体验 ， 稍 微 深入 尝试 就 会 时 间 不 足 。 因 此 ， 测 试 时 间 建 议 
以 30 分 钟 为 一 个 测 程 ， 可 以 多 个 测 程 进行 二 加 ， 测 程 中 间 穿 插 交 流 汇 报 。 

3. 交 流 汇 报 

在 做 了 测试 章程 和 测试 记录 后 ， 来 到 一 个 非常 重要 的 环节 ， 就 是 交流 汇报 。 传 统 测试 在 结束 后 往往 是 提交 测试 报告 ， 包 括 用 例 是 否 通过 ， 是 否 发 现 Bug 信 息 。 探 索 式 测 试 在 这 个 基础 上 增加 了 口头 交流 
环节 ， 即 几 个 人 围 坐 在 一 起 ， 由 一 个 记录 者 记录 过 程 中 发 现 的 问题 ， 每 个 人 在 汇报 时 都 是 一 个 整理 自己 思路 的 过 程 ， 聆 听 别 人 的 工作 内 容 时 也 可 以 反思 自己 的 差异 点 ， 从 而 做 补充 。 记 录 者 根据 每 个 测试 人 
员 的 报告 整理 出 最 终 的 测试 报告 。 

测试 人 员 还 可 以 根据 过 程 中 记录 的 测试 记录 进行 整理 ， 直 接 提交 统一 格式 的 测试 记录 给 汇总 者 。 包 含 测试 覆盖 的 点 (可 以 根据 规划 图 来 进行 路 径 描述 ) 、 测 试 思路 (可 以 用 基础 方法 名 字 代 蔡 ) 、 建 议 
下 一 步 探索 的 内 容 、 风 险 问题 。 

另外 ， 还 需要 对 测试 章程 中 的 问题 进行 回答 ， 测 试 章程 最 初 是 为 了 指明 测试 方向 ， 提 出 需要 我 们 回答 的 问题 。 针 对 测试 章程 中 的 问题 ， 我 们 能 否 做 到 肯定 的 回答 ， 如 果 不 能 ， 还 需要 补充 什么 测试 ， 不 
执行 这 些 测试 会 有 什么 潜在 的 风险 。 


8.3.3 ”实践 后 续 


经 过 测试 实践 后 ， 还 需要 一 定 的 后 续 工作 ， 才 能 让 整个 探索 式 测试 工作 形成 一 个 闭环 。 


后 续 工作 中 的 重要 一 点 是 在 对 测试 记录 的 完善 补充 上 ， 测 试 记录 的 方式 可 能 干 差 万 别 ， 但 是 建议 每 进行 一 轮 探索 式 ;测试 后 ， 拿 出 10 分 钟 的 时 间 对 之 前 的 测试 过 程 做 一 个 回顾 和 补充 。 每 周 对 一 些 通 用 类 
型 的 问题 做 一 个 抽象 提炼 ， 并 结合 Bug 分 析 、 测 斌 流程、 代码 逻辑 、 需 求 分 析 做 进一步 完善 ， 形 成 相对 系统 的 结果 可 以 传承 。 


1. 抽 象 提炼 


将 测试 过 程 中 发 现 的 问题 进行 场景 回顾 ， 提 炼 复 现 的 精 要 路 径 ， 根 据 复 现 路 径 定 位 测试 思路 (探索 式 测试 方法 ) 。 表 8-3 是 视频 模块 的 部 分 经 验 库 ， 里 面包 含 视频 常见 的 测试 方法 、 每 种 方法 涉及 的 测试 
场景 、 实 际 发 生 问题 的 Bug 1D 和 简要 描述 ， 后 面 还 可 以 加 上 Bug 分 析 等 。 


A83 ”视频 模块 经 验 库 (部 分 ) 


涉及 的 探索 式 


MERRI wur 


Bug ID Bug 名 称 简 述 

热门 视频 一 找到 刑警 队长 电视 剧 一 选择 爱 奇 艺 源 一 下 载 两 集 电视 剧 
(hl, 98 9I 12 R) 一 播放 下 载 好 的 视频 一 切 到 全 部 在 线 视频 一 点 击 没 
有 下 载 过 的 视频 播放 一 退 到 后 台 再 进入 ， 上 再 进入 后 ， 播 放 的 是 切换 到 在 
线 视 频 前 下 载 好 的 视频 


同时 下 载 多 个 视频 ， 视 频 个 数 超过 一 屏 ， 上 下 滑动 ， 顶 部 等 待 下 和 载 的 
50588372 | 视频 会 出 现 边 下 边 播 按钮 ， 点 击 该 按钮 提示 “文件 被 删除 ， 是 否 重 新 
下 载 ” 


进入 热门 视频 下 载 视频 一 进入 我 的 文件 编辑 视频 名 称 一 返回 下 载 列表 
50579147 | 查看 ， 在 我 的 文件 中 修改 已 下 载 的 视频 名 称 ， 下 载 列 表 该 视频 名 称 没 有 
变化 


进入 热门 视频 下 载 2 SERE EIAS SUI EA Fa. fg eU 
50579248 | 称 一 进入 我 的 文件 查看 该 电视 剧 文件 夹 ， 文 件 夹 中 仍 显 示 该 视频 且 大 小 
为 0B 


进入 热门 视频 下 载 2 集 或 以 上 剧 集 视频 和 单个 视频 一 进入 下 载 一 下 载 
完成 后 清空 任务 一 进入 我 的 文件 查看 视频 ， 清 空 任务 后 ， 进 入 我 的 文件 
查看 ， 非 剧 集 视频 被 删除 ， 剧 集 视频 留 有 剧 集 文件 夹 。 预 期 结果 为 清 
空 任务 后 ， 下 载 列表 为 空 ， 下 载 的 视频 不 被 删除 


50682733 


极限 测试 法 


视频 


50578738 


实际 上 ， 很 多 模块 都 可 以 从 一 次 次 探索 式 测试 中 不 断 完 善 和 扩大 ， 最 后 形成 一 个 可 以 借鉴 和 参考 的 经 验 库 。 这 就 是 实践 后 续 的 抽象 提炼 的 目的 。 
2. 完 善 整合 

上 面 讲 到 了 要 对 测试 过 程 中 发 现 的 问题 进行 抽象 提炼 ， 其 实 还 可 以 做 一 些 完善 整合 的 工作 ， 主 要 分 为 三 个 部 分 。 

(1) 与 Bug 分 析 整 合 


从 抽象 提炼 举例 的 经 验 库 中 就 可 以 看 出 Bug 分 析 是 紧 随 在 具体 的 案例 中 的 。 我 们 可 以 通过 5Why 法 对 发 现 的 问题 进行 分 析 ， 从 中 可 以 分 析出 Bug 产 生 的 本 质 ， 进 而 对 发 现 的 路 径 有 个 更 加 清晰 的 认识 ， 对 
今后 类 似 问 题 的 发 现 提供 了 思路 和 发 现 角度 。 因 此 后 续 的 经 验 库 中 应 该 将 Bug 分 析 作 为 一 个 常规 项 。Bug 分 析 建 议 包含 引入 时 机 、 严 重 程度 (内退 /功能 不 可 用 /异常 可 恢复 ) 、 可 重 现 性 ( 必 现 /高 频 出 现 / 低 
概率 ) ， 机 型 系统 (全 部 系统 /新 系统 /用 户 量 小 的 系统 /常见 系统 ) 、 发 现时 机 、 用 户 影响 程度 等 。 


(2) 与 漏 测 分 析 整 合 


分 析 漏 测 其 实 也 是 Bug 分 析 的 一 种 ， 不 同 的 是 漏 测 分 析 可 以 加 入 一 些 维度 。 比 如 缺陷 引入 时 间 和 最 终 发 现 问题 的 时 间 差 ， 过 程 中 哪些 思维 的 缺失 导致 缺陷 漏 测 ， 后 续 可 以 通过 什么 方式 来 完善 测试 思 
路 。 通 过 规划 图 的 补充 、 经 验 库 的 扩充 来 进行 整合 。 


(3) 与 多 产品 整合 


不 同 产品 会 有 一 些 共 性 的 东西 ， 比 如 涉及 登录 、 分 享 等 。 那 么 不 同 产品 之 间 的 相同 模块 可 以 融合 成 一 个 更 加 全 面 的 经 验 库 。 比 如 说 登录 模块 可 能 涉及 到 票据 过 期 的 问题 ， 这 个 问题 不 分 产品 形态 ， 几 乎 
都 会 有 这 样 的 问题 。 我 们 把 这 样 的 问题 汇总 整合 起 来 ， 形 成 更 高 层次 的 抽象 经 验 库 ， 以 利 传播 。 


本 章 主要 讲述 探索 式 测 试 的 基础 实践 步 又， 事实 上 每 个 进行 探索 式 测试 研究 的 同行 都 有 自己 独到 的 看 法 和 方法 ， 因 此 只 说 是 建议 ， 仪 供 大 家 借鉴 。 还 有 句 话 是 “ 知 易 行 难 ” ， 探 索 式 测试 看 起 来 好 像 是 
很 多 人 都 在 用 了 ， 但 是 实际 上 要 系统 化 的 做 好 这 个 探索 式 测 试 还 是 要 多 在 实践 中 提炼 ， 寻 找 适 合 自己 项 目的 落地 方式 。 


8.4 研 友 各 个 阶段 的 实践 形式 


第 7 章 主要 介绍 了 如 何 进 行 一 次 探索 式 ;测试 专项 活动 ， 实 际 上 ， 在 不 同 的 项 目 迭 代 阶 段 ， 探 索 式 测试 并 不 是 固定 的 实践 形式 ， 而 是 可 以 结合 项 目 迭 代 特 点 进行 多 样 化 实践 。 


我 们 将 项 目 运 代 周 期 大 致 划分 几 个 阶段 ， 分 别 是 测试 设计 、 和 迭代 测试 、 集 成 测试 、 回 归 测 试 、 上 线 测试 。 

8.4.1 测试 设计 
大 军 未 动 ， 粮 草 先 行 。 在 一 切 测试 活动 开始 之 前 ， 都 要 有 一 个 比较 好 的 测试 设计 。 那 么 探索 式 测试 在 这 个 环节 能 够 起 到 什么 作用 ?这 里 介绍 章程 设计 、 思 路 补充 和 思维 碰撞 三 点 。 
1. 章 程 设计 


第 7 章 介绍 过 测试 章程 分 为 测试 说 明和 规划 图 。 测 试 说 明 可 以 根据 提 测 需求 和 开发 产品 进行 确认 。 测 试 规划 图 应 该 是 找 有 相关 测试 经 验 、 对 产品 比较 熟悉 的 测试 人 员 进 行 设 计 。 将 被 测 对 象 放 在 整个 产 
品 、 整 个 平台 上 进行 审视 ， 剖 定 需要 哪些 测试 点 影响 范围 。 也 可 以 像 用 例 评审 一 样 ， 召 开会 议 ， 共 同 补 齐 规划 图 中 的 遗漏 点 或 者 调整 逻辑 。 


可 以 参考 第 9.3.2 节 的 内 容 。 
2. 思 路 补充 


在 开发 之 初 ， 测 试 也 可 以 从 产品 那里 获得 需求 交互 稿 ， 或 者 从 开发 人 员 那 里 得 到 重 构 的 逻辑 说 明 ， 测 试 人 员 根 据 交 互 稿 进行 用 例 设 计 。 表 8-4 是 浏览 器 视频 弹 幕 功能 的 用 例 部 分 内 容 ， 其 中 阴影 部 分 就 是 
探索 式 测试 进行 的 用 例 思路 补充 。 


表 8-4 浏览 器 视频 弹 幕 功能 用 例 (部 分 ) 
测试 条 件 操作 步骤 预 期 


直播 EARI, Aa AME IE AMA RU XS o 
JE AH TEE Eri rn, ETRAS gr 1E 216 UU EE RU XS GR 


Wi-Fi 和 非 Wi-Fi Uk, SA Ja 141 08 98 弹 攻 的 显示 、 发 送 情况 ， 模 点 的 显 
相关 操作 IRERE IE T 


) 切换 到 夜间 模式 ; 
2 ) TUB y MARA 9 


切换 网 络 (反叛 测试 法 ) 


夜间 模式 (有 恶 邻 测试 法 ) 常 观 看 和 发 送 弹 幕 


1 ) 切换 不 同 的 账号 ; ate 
2) AA TS MRE 


切换 账号 (强迫 症 测试 法 ) 能 正常 观看 和 发 送 弹 项 
1) 在 视频 界面 ， 分 别 执行 快 进 / 跳跃 / 

后 退 等 操作 ; 能 正常 观看 和 发 送 弹 幕 
2 ) TUB ESCONDE 9 6 


在 弹出 弹 需 或 者 准备 发 送 弹 医 时 ， 
E S UHR 


1 ) 在 视频 的 某 个 时 间 点 发 送 弹 幕 ; 
有 积 标 弹 需 (清晨 测试 法 ) 2) 下 次 或 者 隔日 再 重新 看 ， 到 该 点 看 
是 否 有 弹 幕 出 现 


快 进 /跳跃 /后退 (出租 
车 测试 法 ) 


前 后 台 切 换 (清晨 测试 法 ) 前 后 台 切 换 不 影响 弹 医 相关 功能 


应 该 有 显示 历史 弹 幕 ， 如 果 某 个 时 
间 点 的 弹 莫 过 多 而 显示 不 下 ， 则 不 显示 


在 常规 化 用 例 设计 后 ， 如 果 经 验 库 中 有 类 似 模 块 ， 则 可 以 从 中 借鉴 经 验 ， 对 用 例 进 行 补充 。 还 可 以 根据 该 模块 所 属 漫游 模型 区 域 推荐 的 测试 法 进行 思路 补充 。 


这 里 还 涉及 一 个 交叉 测试 负责 人 的 问题 。 对 于 一 个 Feature Team (FT) ， 我 们 一 般 都 设置 主 、 次 负责 人 ， 用 例 由 该 FT 的 主要 负责 人 进行 撰写 和 设计 ， 次 要 负责 人 负责 对 该 用 例 进行 二 次 加 工 与 完 
也 可 以 在 一 定 程度 上 补充 思路 。 


3. 思 维 碰撞 
上 面 说 到 了 思路 补充 ， 其 实 还 有 一 个 很 重要 的 环节 是 测试 设计 后 的 用 例 评审 ， 大 家 坐 在 一 起 共同 评审 已 完成 的 用 例 。 多 人 交流 得 到 的 收获 远大 于 主 、 次 负责 人 的 补充 ， 因 此 可 以 称 之 为 思维 碰撞 。 
测试 、 产 品 、 开 发 一 起 完成 这 个 头脑 风暴 过 程 。 测 试 人 员 可 以 起 主导 作用 ， 引 导 产 品 和 开发 往 一 些 场景 上 思考 ， 让 熟悉 代码 的 开发 人 员 尽 快 想起 逻辑 实现 的 缺陷 、 尽 快 联想 到 需求 设计 缺陷 。 


探索 式 测 试 在 这 里 所 起 的 作用 是 利用 系统 性 的 测试 思维 进行 交流 碰撞 ， 引 导 更 多 的 场景 设想 。 


8.4.2 迭代 测试 


在 和 迭代 测试 中 ， 我 们 仍 保留 部 分 用 例 测 试 ， 同 时 加 上 探索 式 专 项 测试 。 也 就 是 在 纯 脚本 测试 和 纯 探索 式 测试 之 间 寻 找 一 个 点 ， 取 得 最 佳 的 效果 。 


1. 基 础 测试 


用 例 测 试 也 称 基 础 测试 ， 主 要 用 于 检查 需求 是 否 都 按照 预期 实现 了 。 这 部 分 工作 和 传统 的 脚本 测试 无 异 ， 不 加 蓝 述 。 
2 .探索 测试 


探索 测试 其 实 就 是 专项 探索 式 测试 。 在 基础 需求 验证 通过 后 ， 再 结合 风险 点 ， 展 开 探索 式 测试 。 


具体 如 何 做 深入 测试 可 以 参考 第 8.3.2 节 和 第 8.3.3 节 的 内 容 。 


以 QQ 浏览 器 (iPhone) 的 一 次 测试 为 例 ， 其 开发 重 构 了 工具 栏 相关 的 代码 ， 并 罗列 了 可 能 涉及 的 影响 模块 。 测 试 经 理 根据 影响 点 采用 二 维 表 的 组 织 方式 (028-5) ， 同 时 罗列 了 测试 说 明 的 问题 ， 


试 执行 人 员 在 各 个 交叉 点 中 进行 探索 式 ;测试 实践 ， 并 回答 测试 说 明 中 的 关注 点 或 者 疑问 点 。 


功能 / 基础 特性 


全 屏 切 换 
第 三 方 调 起 


换 肤 


横 坚 屏 切 换 
日 夜间 转换 


功能 / 基础 特性 


表 8-5 ”二 维 表 (规划 图 ) 


每 日 头条 : 文章 
和 图 片 阅览 


云 收藏 


每 日 头条 : 文章 


后 退 和 图 片 阅览 


本 次 测试 说 明 如 下 。 


: 地 址 栏 、 


- 地 址 栏 、 


工具 栏 是 否 显示 正常 (前 进 后 退 状态 ， 布 局， 动画 ) 。 


工具 栏 背景 是 否 正 确 ， 是 否 可 正常 交互 。 


. 前 进 、 后 退 滑动 手势 是 否 正 确 。 


业务 场景 切换 的 时 候 ， 过 度 动画 是 否 正常 。 


测试 报告 如 表 8-6 所 示 。 


表 8-6 测试 报告 


测试 结果 : 不 通过 。 


发 现 问题 : 

1) 横 屏 开启 无 痕 模 式 ， 再 竖 屏 ， 底 部 菜单 栏 没 有 无 痕 图 案 ; 

2) yiya 语音 网 页 搜索 ， 全 屏 模 式 下 搜索 框 与 系统 时 间 ， 电 量 栏 重 到 ; 

3) 网 页 搜索 框 ， 点 击 键盘 上 的 语音 输入 无 反应 ; 

4) 竖 屏 上 滑 缩 小 地 址 栏 时 横 屏 ， 呼 出 地 址 栏 ， 没 有 安全 感知 图 标 ; 

5) 第 三 方 启 动 ， 小 说 页 面 不 显示 工具 栏 ; 

6) 横 屏 切换 当前 窗口 到 打开 NAtive 页 面 的 窗口 ，NAtive 页 面 底部 某 单 栏 不 显示 按钮 ; 
7) 全 屏 模 式 下 ， 微 云 收藏 点 击 搜索 后 工具 栏 消 失 ; 

8) 全 屏 下 ， 停 留 在 每 日 头条 页 面 ， 第 三 方 打开 浏览 器 ， 底 部 工具 栏 显示 为 某 个 网 页 的 内 容 


我 的 视频 : 
大 家 都 在 看 


我 的 视频 : 
大 家 都 在 看 


测 


另外 ， 可 以 考虑 结对 测试 ， 由 熟悉 探索 式 测试 方式 的 人 和 不 熟悉 探索 式 测试 的 人 一 起 结对 测试 ， 有 经 验 的 人 分 析 测试 章程 来 指导 新 人 ， 同 时 可 以 提出 测试 策略 。 还 有 一 种 常见 的 方式 是 两 个 差不多 经 验 
的 人 一 起 结对 测试 ， 彼 此 补充 测试 思路 ， 或 者 分 为 支线 和 主线 各 自 进 行 测试 [1 


8.4.3 ”集成 测试 


集成 测试 阶段 的 各 项 功能 (FT) 都 合 入 且 经 过 了 测试 ， 质 量 趋 于 稳定 ， 也 正 是 因为 这 种 合 入 ， 可 能 导致 新 旧 功 能 之 间 产 生 不 可 知 的 影响 。 因 此 ， 集 成 测试 应 该 是 一 次 完整 的 质量 体检 。 我 们 将 集成 测试 
分 成 三 个 部 分 ， 即 指南 测试 、 专 项 测试 、 系 统 探索 。 


1. 指 南 测试 


在 探索 式 测试 基础 方法 中 ， 有 一 种 方法 叫 指南 针 测试 法 ， 就 是 根据 需求 来 做 测试 。 我 们 把 验证 需求 实现 的 用 例 称 为 一 级 基础 用 例 。 因 此 指南 针 测 试 其 实 也 是 用 例 测 试 ， 但 这 个 用 例 只 是 基础 用 例 ， 履 盖 
了 基础 需求 ， 只 包含 正常 逻辑 的 用 例 。 


例如 ，QQ 浏 览 器 (iPhone) 各 个 模块 完整 用 例 共计 3700 多 条 ， 包 含 了 需求 验证 类 型 (PAEA) 的 基础 用 例 (一 级 用 例 ) ， 也 包含 了 其 他 的 用 例 (二 级 用 例 ) ， 如 模块 之 间 复 杂交 互 和 极限 情况 
的 用 例 、 履 盖 安 装 用 例 等 。 


用 例 筛选 可 以 从 两 个 时 机 入 手 : 第 一 个 时 机 是 在 设计 用 例 的 时 候 ， 直 接 按照 需求 标识 出 一 级 用 例 和 二 级 用 例 。 如 果 一 开始 没有 做 这 样 的 用 例 分 级 ， 则 可 以 在 集成 前 测试 人 员 先 按照 需求 进行 分 级 ， 再 约 
上 不 同 的 开发 负责 人 逐一 进行 评审 ， 确 保 基础 需求 的 验证 用 例 没 有 遗漏 。 


2. 专 项 测试 


把 二 级 用 例 中 涉及 覆盖 安装 的 用 例 抽 离 出 来 作为 专项 测试 内 容 ， 如 表 8-7 所 示 。 


验 证 点 结 R 
书签 (本 地 书签 、 网 络 书签 、PC 书签 、 书 签 文 件 夹 ) Pass 
首页 书签 Pass 
历史 记录 、 最 篆 访 问 〈 包 括 搜索 历史 记录 ) Pass 
个 人 中 心 喘 份 态 (保持 、 注 销 、 切 换 ) 关注 微 信 账号 Pass 
微 云 收 藏 Pass 
微 云 文件 Pass 
下 载 (状态 、 大 小 、 个 数 ) Pass 
XIF EA., MRS) Pass 
RRIA (升级 后 保持 、 切 换 ) Pass 
设置 (字体 大 小 、 皮 肤 、 消 息 管理 、 无 痕 浏 览 、 夜 间 模 式 等 抽 测 ) Pass 
分 享 Pass 
省 流量 Pass 
导航 更 新 Pass 
现场 恢复 Pass 

(5) 

验 证 点 结 m 
cookies 保存 Pass 
我 的 书架 一 一 收藏 的 书 、 设 置 、 读 书 进度 Pass 
我 的 视频 一 一 最 近 观 看 、 绥 存 任务 、 我 的 收藏 Pass 
热门 视频 、QQ 空间 、 小 说 等 的 更 新 Pass 
新 功能 使 用 正常 Pass 


单独 列 出 这 项 测试 是 因为 移动 App 的 覆盖 安装 比较 耗 时 ， 如 果 在 指南 针 测试 中 进行 ， 将 会 不 断 出 现 等 待 升级 的 时 间 ， 我 们 将 所 有 涉及 覆盖 安装 的 用 例 集中 到 一 个 时 间 段 进行 ， 通 过 一 次 升级 就 可 以 检查 
多 个 数据 在 新 旧版 本 上 的 完整 性 和 正确 性 。 涉 及 的 探索 式 测试 策略 包括 上 一 版 本 测试 法 和 快递 测试 法 。 


另外 还 有 一 个 机 型 系统 的 适 配 问题 ， 移 动 端的 系统 差异 会 影响 其 上 的 App 功 能 。 实 际 集成 测试 中 ， 每 个 测试 人 员 负 责 的 机 型 系统 不 同 ， 因 此 还 要 对 一 些 核心 功能 进行 全 量 的 系统 覆盖 。 也 就 是 把 这 部 分 
单独 抽 离 出 来 作为 专项 测试 ， 如 表 8-8 所 示 。 涉 及 的 探索 式 测试 策略 包括 遍历 测试 法 和 超 模 测试 法 。 


表 8-8 全 量 系统 覆盖 的 用 例 


J 能 Fm 备 d 


重点 考察 调 起 逻辑 是 否 通畅 ， 页 面 显示 是 否 正 常 ， 包 括 横 屏 、 皮 肤 、 放 大 模式 等 因素 下 的 
菜单 位 、 通 知 栏 显 示 


EP ERAT QQ ÈR, Ni. Biden a En ARAE AREE, TTA DU sie EAS BRE REA 


Aii push JE A DUI Vise (包括 冷 局 动 和 热 局 动 ) ERER, LTROBONUEL. DER 
栏 等 


第 三 方 调用 打开 


通知 栏 push 


iR: 加 强 对 入 口 级 功能 的 重视 ,在 集成 阶段 要 做 到 对 此 类 功能 点 的 全 系统 窗 盖 。 
3. 系 统 探索 
这 个 阶段 在 基础 用 例 + 履 盖 安 装 用 例 之 后 ， 是 一 次 大 规模 的 探索 式 测试 。 


首先 将 浏览 器 基础 特性 作为 一 个 维度 ， 将 各 个 FT 作为 另外 一 个 维度 ， 形 成 如 表 8-9 所 示 的 二 维 表 部 分 内 容 。 这 个 表 的 目的 是 将 探索 式 测试 的 自由 度 限制 在 一 个 框架 内 ， 不 至 于 偏离 主题 ， 在 横 纵 交叉 点 
中 ， 测 试 人 员 可 以 充分 发 挥 自己 的 作用 去 做 “ 边 测试 边 设计 ”的 工作 。 


表 8-9 ”集成 测试 二 维 表 (部 分 ) 


FT 模块 


pie HR ma [ — 
wwssa — | me [om [oo orm [om 
wea f m | om [09 om 


"eaae |o me |o o |n 
址 、 生 成 二 维 码 等 

Base O o Jom | Fes o Pes | cn 

bt 村 |o Fo |o Fes |o NA | cn 

eo [o Pes [o Pas [o Ps | cm 


表 8-9 还 可 以 进一步 演绎 为 多 维 表 ， 将 每 个 FT 与 整个 浏览 器 乃至 整个 操作 平台 的 特性 关联 起 来 ， 形 成 多 维 规划 图 (可 参考 第 8.3.2 节 的 内 容 ) 。 


业务 模块 


整个 操作 过 程 建议 做 测试 记录 和 交流 总 结 。 

8.4.4 回归 测试 
回归 测试 阶段 主要 是 对 已 发 现 的 Bug 的 回归 验证 ， 也 是 对 更 新 代码 可 能 存在 的 问题 的 挖掘 。 在 QQ 浏览 器 (iPhone) 上 ， 我 们 结合 探索 式 和 精准 测试 的 方法 进行 测试 。 
1. 与 精准 测试 结合 


通过 精准 测试 ， 可 以 得 到 提 测 版 本 与 上 次 提 测 版 本 之 间 的 代码 变动 差异 可 能 影响 的 用 例 ， 我 们 将 影响 用 例 执 行 过 后 ， 根 据 用 例 发 散 出 去 ， 形 成 新 的 测试 章程 。 例 如 涉及 用 例 : “添加 一 本 书 到 书架 
上 ”， 可 以 发 散 提 问 “ 不 同 网 络 下 添加 书架 会 怎样 ?” “反复 删除 后 添加 书架 如 何 ”” “不 同 源 可 以 重复 添加 书架 吗 ?” 。 这 个 工作 可 以 由 测试 经 理 进行 发 散 ， 然 后 由 测试 执行 人 员 根 据 提 出 的 问题 ， 再 结 
合 不 同 的 测试 策略 进行 探索 式 测试 实践 。 


如 图 8-5 所 示 ， 核 心 测试 点 可 以 从 精准 测试 输出 结果 获取 ， 围 绕 核心 测试 点 可 以 查找 相关 的 影响 点 (周边 功能 ) ， 再 根据 不 同 的 影响 因子 (如 网 络 、 硬 件 等 ) 进行 探索 式 测试 。 
2. 经 验 库 运 用 


根据 用 例 可 以 发 散 提 问 出 不 同 问题 作为 测试 章程 ， 那 么 如 何 思考 测试 策略 呢 ? 除了 可 以 参考 探索 式 测 试 基础 方法 去 边 思 考 边 测试 ， 还 可 以 结合 经 验 库 来 进行 思维 补充 。 同 样 的 过 程 中 发 现 的 问题 还 可 以 
整理 到 经 验 库 中 ， 或 者 补充 用 例 ， 或 者 两 者 皆 备 。 


影响 因 于 


mA tlf] cr 


影 啊 因 于 SR SIT 


a ADNE 


影 啊 因 子 S ST 


RAJDIS 


3 Wn] DA] ^ 


图 8-5 ”核心 测试 点 发 散 图 


8.4.5 ”上 线 测试 

上 线 测试 一 般 时 间 相对 有 限 。 上 线 测试 可 分 为 检查 点 测试 和 风险 点 测试 。 

1 检查 点 测试 

检查 点 非 党 类似 于 集成 测试 中 的 指南 测试 ， 不 过 这 里 关注 的 是 基础 特性 是 否 受 到 影响 。 表 8-10 所 示 的 是 QQ 浏览 器 (iPhone) 在 上 线 前 测试 的 检查 点 ， 基 本 肖 盖 基础 功能 验证 . 

表 8-10 ”上线 前 测试 检查 点 
序 号 来 uf 检 [i 验证 结果 

l 基础 要 求 系统 push (小 说 更 新 push, PE push) 
2 基础 要 求 升级 提示 《系统 通知 栏 、 提 示 升 级 、 检 查 升 级 ) 


3 基础 要 求 起 始 页 配置 拉 取 正确 


序 号 | 来 i 检 查 点 验证 结果 
4 同时 使 用 腾讯 微 博 、 空 间 、QQ 客户 端 
6 QAJA GE (QUA. Xie. HX PV 数 ) 
7 问题 反馈 的 链接 是 否 正确 
8 核心 能 力 mttf 达标 
9 | 核心 能 力 — | 内 存 和 速度 是 否 达到 要 求 


10 用 户 反 馈 痛 点 | 与 QQ 音乐 兼容 性 

11 用 户 反 馈 痛 点 | QQ 农场 、 牧 场 等 应 用 的 一 健 偷 菜 一 健 播种 等 操作 
12 用 户 反 馈 痛 点 | 微 云 收藏 、 视 频 离线 也 能 观看 

13 用 户 反 馈 痛 点 | 小 说 、 精 阅 可 读 

14 用 户 反 馈 痛 点 | 天 猫 、 淘 宝 可 碍 看 评价 和 许 情 


2. 风 险 点 测试 
每 次 提交 上 线 ， 都 有 一 些 修 改 的 代码 ， 这 些 修改 的 代码 涉及 的 影响 点 ， 也 是 上 线 前 测试 阶段 探索 式 测试 的 着 力 点 。 


根据 SVN 日 志 中 查找 修改 点 或 者 开发 PM 罗列 出 风险 ,或 者 像 回 归 测 试 中 的 用 到 的 精准 测试 那样 输出 测试 点 ， 以 这 些 为 测试 章程 进行 测试 ， 也 即 风险 点 测试 。 


8.5 ”实践 效 果 展 示 


本 节 本 应 该 严格 证 明 探 索 式 测试 比 传统 的 测试 更 好 ， 但 是 ， 由 于 传统 测试 或 多 或 少 渗入 一 些 探索 式 测 试 的 元 素 ， 因 此 无 法 在 绝对 分 离 的 情况 下 进行 比 对 。 另 外 ， 不 同人 的 经 验 和 思维 方式 也 会 影响 测试 
效果 的 比 对 ， 且 不 同时 期 的 被 测试 软件 的 质量 ， 也 会 影响 最 终 测 试 活动 效果 的 评估 。 这 些 问 题 不 可 避免 ， 因 此 只 能 从 已 经 实践 过 的 项 目 上 选取 一 些 维度 进行 对 比 ， 供 读者 参考 借鉴 ， 并 不 能 非常 肯定 所 有 项 
目 都 会 取得 一 致 的 明显 效果 ， 每 个 项 目 要 有 自己 因地制宜 的 措施 来 有 效 利用 探索 式 ;测试 提升 测试 效率 。 


在 手机 QQ 浏览 器 (iPhone) 项 目 中 ， 同 样 的 测 坛 人 员 ， 学 习 探 索 式 测试 前 和 学 习 探索 式 测 试 后 的 测试 效果 对 比如 图 8-6 所 示 。 在 集成 测试 的 耗 时 上 ， 没 有 学 习 探索 式 测试 的 时 候 大 约 需要 耗 时 25/ 人 


天 ， 随 着 探索 式 测试 学 习 和 实践 的 进一步 加 强 ， 到 5.8 版 本 后 已 经 缩减 为 13.2/ 人 天 。 
测试 耗 时 对 比 


探索 式 测试 5.8 版 本 13.5 


探索 式 测试 5.7 版 本 
探索 式 测 试 5.6 版 本 
探索 式 测试 5.5 版 本 


0 5 10 15 20 25 30 
目测 试 耗 时 /人 天 


图 8-6 ”测试 耗 时 对 比 


图 8-7 所 示 的 是 在 没有 进行 探索 式 测 试 学习 时 ， 单 人 单位 时 间 内 能 发 现 的 缺陷 数量 只 有 4 个 。 随 着 探索 式 测 试 学 习 和 实践 的 进行 ， 缺 陷 挖 掘 呈 现 一 种 递增 的 趋势 。 之 所 以 有 一 些 波动 ， 主 要 考虑 了 不 同 软 
件 版 本 的 开发 质量 会 间接 影响 测试 结果 。 


正 陷 挖掘 对比 
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图 8-7 缺陷 挖掘 对 比 


通过 横 纵 两 个 维度 的 对 比 ， 可 以 粗略 看 出 探索 式 测 试 在 提升 测试 人 员 缺 陷 挖 掘 效率 和 总 的 测试 耗 时 方面 有 明显 的 改善 和 提升 。 


8.6 探索 式 测试 的 答疑 
笔者 在 实践 和 推广 探索 式 测试 的 过 程 中 ， 也 曾 遇 到 过 很 多 疑问 。 如 果 读 者 也 有 类 似 疑问 ， 那 么 可 以 从 以 下 内 容 中 获得 解答 。 
8.6.1 理论 方面 的 问题 


(1) 探索 式 和 自由 测试 的 差异 点 在 哪里 ? 
答 : 探索 式 测试 更 加 系统 化 ， 有 基础 方法 启发 测试 思路 ， 有 测试 章程 来 确保 测试 覆盖 范围 ， 有 测试 记录 保留 中 间 过 程 ， 有 经 验 库 来 传承 测试 经 验 。 
(2) 测试 用 例 与 探索 式 测试 如 何 关 联 ? 


答 : 探索 式 测试 不 排斥 用 例 ， 可 以 做 有 用 例 的 探索 式 测试 。 用 例 相当 于 探索 式 测 试 中 的 指南 针 测试 法 ， 用 于 对 需求 的 覆盖 。 也 可 以 用 探索 式 测 试 法 对 用 例 进行 补充 ,具体 看 项 目的 要 求 。 
8.6.2 ”实践 过 程 的 问题 


(1) 怎样 评估 测试 人 员 的 测试 质量 ? 


答 : 方法 有 几 种 。 一 是 通过 Bug 数 量 ， 单 位 时 间 内 发 现 有 效 缺陷 的 数量 越 多 越 好 ， 更 早 的 时 间 发 现 更 多 的 缺陷 更 好 ;二 是 通过 口头 要 求 测试 执行 人 员 介 绍 测试 过 程 和 思路 来 判断 测试 的 深入 程度 和 思考 
程度 ;三 是 通过 上 线 后 的 漏 测 情况 判断 ， 例 如 ， 使 用 了 探索 式 测 试 后 漏 测 率 下 降 ， 或 者 影响 用 户 体 验 的 问题 发 生 概率 下 降 等 。 


(2) 怎样 确定 测试 结束 的 时 间 点 ? 
答 : 要 确定 测试 结束 的 时 间 点 ， 需 要 先 回答 以 下 几 个 问题 : 测试 章程 提出 的 问题 是 否 能 回答 好 ， 规 划 图 涉及 的 点 是 否 覆 盖 完 整 ， 存 在 的 风险 是 否 影响 使 用 。 如 果 能 够 回答 好 测试 章程 中 的 问题 ， 测 试点 


覆盖 完整 ， 存 在 的 风险 不 影响 使 用 即 可 认为 测试 结束 。 
(3) 外 包 测 试 可 以 用 探索 式 测试 吗 ? 


答 : “合适 的 人 做 合适 的 事 ”。 对 于 积极 主动 的 人 ， 不 管 是 外 包 人 员 还 是 正式 员工 ， 都 可 以 用 探索 式 测试 指导 实践 测试 。 对 于 不 积极 主动 的 外 包 人 员 ， 可 以 在 一 定 的 沟通 和 考察 后 进行 探索 式 测试 。 具 
体 表现 为 外 包 人 员 在 测试 过 程 中 是 否 愿 意 去 动脑 ， 如 果 只 做 执行 用 例 这 样 的 工作 ， 不 擅长 思考 和 发 散 的 人 员 ， 建 议 不 要 采用 探索 式 测 试 。 


8.6.3 ”提升 方面 的 问题 


(1) 人 的 思维 存在 差异 性 ， 如 何 保证 不 同人 的 测试 程度 ? 


答 : 通过 有 经 验 的 人 引导 推荐 探索 式 测 试 方法 ， 经 验 不 足 的 人 根据 探索 式 测试 方 法 去 思考 和 执行 ， 降 低 不 同人 员 测 试 程度 的 差异 性 。 
通过 测试 结束 后 的 思维 交流 ， 弥 补 不 同 测试 人 员 在 测试 经 验 的 欠缺 。 
(2) 测试 记录 怎样 记录 不 会 干扰 思路 ， 又 能 起 到 总 结 作用 ? 


答 : 建议 测试 完 一 个 小 需求 或 者 一 个 验证 点 后 再 简单 回顾 思路 ， 进 行 整理 。 也 可 以 采用 纸 质 的 方式 ， 一 边 测试 一 边 记 录 。 测 试 经 理 还 应 抽查 测试 记录 ， 既 可 以 让 执行 人 员 有 一 个 系统 的 梳理 ， 又 可 以 让 
测试 经 理 自己 对 本 次 测试 有 一 定 的 了 解 。 


(3) 有 没有 一 些 之 前 发 现 不 了 的 问题 可 以 通过 这 种 方式 发 现 ? 


答 : 能 否 发 现 之 前 发 现 不 了 的 问题 ， 这 要 看 定义 维度 。 理 论 上 ， 探 索 式 测试 要 基于 人 的 思维 能 动 性 ， 是 一 种 方式 ， 而 不 是 一 种 技能 ， 昌 然 无 法 保证 用 这 种 思维 方式 就 一 定 能 够 发 现 之 前 发 现 不 了 问题 ， 
但 是 能 拓展 测试 思路 ， 将 杂乱 的 思维 变 得 更 加 有 条 理 。 


8.7 “小结 


本 章 主要 介绍 了 探索 式 ;测试 的 发 展 史 、 探 索 式 测试 入 门 实践 、 各 个 阶段 的 实践 形式 、 实 践 效果 展示 及 探索 式 测试 的 答疑 等 内 容 ， 力 求全 方位 为 读者 做 一 个 探索 式 测试 阐释 。 希 望 读 者 通过 本 章 能 够 真正 
了 解 到 探索 式 测试 边 测试 、 边 执行 、 边 设计 的 本 质 ， 在 此 基础 上 设计 符合 自己 项 目的 测试 管理 和 实践 形式 ， 以 期 取得 良好 的 测试 改进 效果 。 


第 9 章 ”标准 化 测试 
9.1 引言 


功能 测试 是 大 多 数 测试 工程 师 入 门 时 经 历 过 的 ， 所 以 大 多 数 测试 工程 师 对 此 都 或 多 或 少 有 些 经 验 和 积累 ， 其 中 有 人 持续 在 功能 测试 中 精耕细作 ， 有 人 走出 功能 测试 向 性 能 测试 和 工具 开发 方向 发 展 。 本 
章 是 为 想 在 功能 测试 中 持续 耕耘 的 测试 同行 们 提供 一 种 略 显 独 特 的 测试 思考 方式 : 寻找 功能 测试 的 “标准 ”一 订 制 “标准 ”一 实践 “标准 ”一 评估 “标准 ”。 
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功能 测试 是 大 多 数 测试 工程 师 入 门 时 经 历 过 的 ， 所 以 大 多 数 测试 工程 师 对 此 都 或 多 或 少 有 些 经 验 和 积累 ， 其 中 有 人 持续 在 功能 测试 中 精耕细作 ， 有 人 走出 功能 测试 向 性 能 测试 和 工具 开发 方向 发 展 。 本 
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9.2 ”功能 测试 的 困惑 


在 各 种 公众 账号 和 网 站 上 都 会 看 到 测试 同行 们 发 表 的 各 种 文章 ， 宣 扬 功 能 测试 无 法 长 久 做 下 去 ， 要 想 走 上 人 生 匮 峰 ， 就 要 早日 学 习 测 试 工具 开发 、 接 口 测试 和 性 能 测试 ， 或 者 学 会 各 种 脚本 的 使 用 来 做 
自动 化 测试 。 对 于 这 种 论调 ， 笔 者 赞同 一 半 ， 否 定 一 半 。 赞 同 的 是 功能 测试 如 果 没有 思考 就 这 样 一 直 做 下 去 是 很 危险 的 ;否定 的 是 ， 不 是 所 有 的 功能 测试 都 无 法 持续 做 下 去 ， 能 理 清 功 能 测试 的 困惑 ， 加 上 
自己 的 思考 实践 ， 功 能 测试 是 可 以 走 得 很 远 的 。 当 前 功能 测试 充斥 着 三 个 魔 允 : 手工 测试 、 黑 盒 测 试 、 外 包 测 试 。 


9.2.1. 手工 测试 现状 


由 于 本 书 立足 于 iOS 平 台 的 测试 ， 因 此 手工 测试 比较 多 。 区 别 于 PC 上 拥有 大 量 成 熟 的 自动 化 测试 工具 和 Android 平 台 拥 有 各 种 开源 测试 框架 ，iOS 平 台 的 功能 测试 的 确 大 量 基 于 手工 测试 。 


对 于 这 种 现状 ， 我 们 不 能 否认 ， 手 工 测 试 对 人 的 要 求 比较 高 。 如 何 有 效 利用 人 的 判定 思维 优势 是 手工 测试 需要 考虑 的 事情 。 对 于 重复 、 机 械 的 操作 可 以 考虑 使 用 自动 化 测试 ， 而 对 于 需要 不 断 创造 测试 
场景 ， 并 根据 当前 测试 结果 做 出 下 一 步 判断 的 测试 ， 则 依赖 于 人 。 


手工 测试 就 是 一 把 双 刃 剑 ， 就 看 执 剑 人 的 水 平 如 何 。 本 章 后 面 会 讲述 如 何 制定 “标准 ”来 更 好 地 上 发挥 人 的 优势 。 
9.2.2 ” 黑 盒 测 试 困境 

传统 意义 上 ， 黑 盒 测 试 一 般 就 代表 功能 测试 ， 这 说 明 功能 测试 很 大 程度 上 都 是 基于 黑 盒 的 。 所 谓 黑 盒 ， 就 是 看 不 到 内 部 的 实现 逻辑 ， 直 接 从 软件 界面 和 软件 功能 方面 进行 测试 。 黑 盒 测试 的 弊端 就 是 无 
法 深入 研究 内 部 逻辑 ， 使 得 这 项 工作 看 起 来 比较 简单 。 实 则 不 然 ， 黑 盒 测试 要 求 从 用 户 的 角度 出 发 进行 测试 ， 这 就 要 求 测试 人 员 能 够 跳出 开发 者 的 思维 ， 重 新 审视 软件 产品 ， 这 才 是 设置 专职 测试 人 员 的 价 
值 所 在 ， 如 果 只 是 简单 地 按 需 求 验 证 软件 ， 测 试 工程 师 确 实 可 以 被 取代 了 。 本 章 后 续 会 讲述 怎么 从 用 户 角度 设计 测试 内 容 。 
9.2.3 ”外 包 测 试 模式 


很 多 公司 的 测试 工作 都 外 包 出 去 了 ， 或 是 整个 测试 工作 都 外 包 化 了 ， 或 是 由 几 个 正式 员工 带领 几 个 外 包 人 员 一 起 做 测试 。 这 里 主要 说 的 是 正式 员工 和 若干 外 包 人 员 一 起 工作 的 模式 。 这 种 模式 有 离 岸 和 
在 岸 的 区 别 。 离 岸 是 最 难 的 模式 ， 沟 通 成 本 、 管 理 成 本 都 异常 高 。 在 这 种 模式 下 做 功能 测试 ， 要 格外 关注 测试 覆盖 度 、 测 斌 效率、 过程 数据 的 度量 和 记录 。 本 章 后 面 也 会 进行 讨论 和 举例 。 


9.3 ”测试 分 析 模 型 


“ 工 欲 善 其 事 ， 必 先 利 其 器 ” ， 我 们 先 要 有 比较 充分 的 理论 基础 。 测 试 界 比较 火热 和 实用 的 测试 理论 模型 包括 谷歌 的 ACC 模 型 、James Bach 的 HTSM 模 型 、Jonathan Bach 的 SBTM 模 型 ， 以 及 James 
A.Whittaker 的 漫游 模型 和 场景 模型 。 标 准 化 功能 测试 就 是 借鉴 这 些 测试 理论 演化 而 成 的 。 接 下 来 具体 介绍 每 种 模型 。 


9.31 ACC 模 型 
ACCI13 的 全 称 是 Attributes Components Compatibilities， 是 谷歌 测试 团队 使 用 的 测试 建 模 方法 。 主 要 是 基于 产品 特质 (Attributes) 、 组 件 (Components) 和 能 力 (Compatibilities) 。 特 质 代 


表 了 产品 的 品质 和 特色 ， 是 区 别 于 竞争 对 手 的 关键 ; 组 件 是 构成 系统 的 模块 ， 也 可 以 理解 为 被 测 产品 的 组 成 模块 ; 能 力 是 组 件 相 对 于 特质 上 的 响应 和 功能 。ACC 模 型 可 以 简单 地 理解 为 是 一 个 二 维 表 ， 纵 列 
是 组 件 ， 横 行 是 特质 ， 中 间 组 件 和 特质 交叉 的 内 容 是 能 力 。 图 9-1 所 示 的 是 采用 ACC 模 型 分 析出 来 的 风险 热力 图 ， 颜 色 越 深 ， 表 示 风 险 越 大 ， 在 交叉 点 处 可 以 具体 写 出 具备 哪些 能 力 。 
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图 9-1 ACC 模 型 
通过 这 种 分 析 能 够 对 产品 做 一 个 全 面 而 简洁 的 描述 ， 使 得 测试 经 理 或 者 相关 负责 人 一 目 了 然 地 观察 到 产品 质量 风险 ， 以 便于 人 力 和 资源 的 配置 。 
本 章 只 对 ACC 模 型 做 相关 性 介绍 ， 为 后 文 标准 化 测试 的 引入 做 铺垫 ， 读 者 如 果 想 进一步 了 解 ACC 模 型 ， 可 以 参考 《How Google Tests Software》 这 本 书 。 
9.3.2 ”HTSM 模 型 
HTSMII 和 的 全 称 为 Heuristic Test Strategy Model， 译 为 启发 式 测试 策略 模型 。HTSM 是 一 种 结构 化 可 定制 的 测试 模型 ， 能 够 在 测试 全 程 中 给 测试 人 员 提 供 有 益 帮助 。 如 图 9-2 所 示 ，HTSM 主 要 是 将 


测试 活动 中 所 需要 的 几 个 要 素 进 行 分 类 和 整理 ， 其 由 四 个 部 分 组 成 ， 分 别 是 项 目 环境 、 质 量 标准 、 产 品 元 素 和 测试 技术 ， 四 个 部 分 协同 工作 以 得 到 测试 质量 报告 。 通 过 这 种 梳理 ， 可 以 对 被 测 对 象 获得 一 个 
宏观 全 面 的 认识 ， 有 助 于 实际 测试 中 的 思路 启发 。 


测试 技术 


图 9-2 HTSM 模 型 


9.3.3 SBTM 模 型 


SBTM11?] 的 全 称 为 Session-Based Test Management， 译 为 基于 测 程 的 测试 管理 。 主 要 是 致力 于 解决 探索 式 测试 中 的 测试 过 程 管理 。 按 照 SBTM 模 型 ， 可 把 测试 划分 为 一 个 个 测 程 来 管理 。 
一 个 测 程 是 一 段 专 门 用 于 测试 的 时 间 ， 有 四 个 要 素 ， 即 主题 (用 户 视角 ， 有 价值 的 信息 ) 、 时 间 窗 (不 受 打 扰 ，1 小 时 左右 ) 、 可 审查 的 结果 (记录 探索 路 径 ) 、 和 简报 (信息 同步 ) 。 


具体 来 看 ， 主 题 可 以 是 一 个 产品 模型 、 风 险 列 表 或 模拟 用 户 故事 和 等， 总之， 一切 用 于 定义 本 次 测 程 活动 的 主要 内 容 都 可 以 作为 主题 。 测 试 活动 就 是 围绕 主题 进行 的 。 时 间 窗 的 长 度 可 以 自 定义 ， 这 期 间 
不 受 任何 干扰 ， 可 以 不 回答 问题 、 不 接 电话 、 不 回 邮 件 ， 只 关注 过 程 中 的 即时 灵感 ， 以 激发 更 多 的 测试 思路 并 验证 之 。 可 审查 的 结果 是 指 可 以 简略 记录 过 程 中 的 测试 范围 和 使 用 的 测试 策略 ， 包 括 缺 陷 的 简 
单 记 录 。 简 报 主要 用 来 对 上 汇报 或 者 团队 内 部 的 面对面 交流 ， 可 以 解释 清楚 文字 歧义 ， 也 可 以 用 自动 化 提取 的 方式 提取 出 全 体 测试 人 员 的 测试 结果 生成 一 份 可 视 化 简报 ， 用 于 评估 接 下 来 的 测试 方向 和 质量 
风险 。 


9.3.4 漫游 模型 


漫游 模型 主要 是 指 将 被 测 对 象 视 为 一 个 城市 来 看 ， 系 统 测 试 就 是 对 该 城市 进行 漫游 。 被 测 的 不 同 模块 特性 可 以 类 比 成 城市 的 不 同 区 域 。 以 手机 浏览 器 为 例 ， 可 以 进行 如 下 划分 。 


(1) 商业 区 ， 主 要 涉及 浏览 器 功能 介绍 的 那些 特性 ， 例 如 小 窗口 播放 、 跨 屏 穿 越 等 。 

(2) 历史 区 ， 主 要 指 老 的 功能 ， 如 书签 、 离 线 阅 读 、 缺 陷 修复 代码 。 

(3) 旅游 区 ， 主 要 指 对 新 用 户 非常 有 吸引 力 ， 而 老 用 户 几乎 不 使 用 的 特性 和 功能 ， 例 如 快捷 工具 的 动画 效果 和 开关 设置 。 
(4) 娱乐 区 ， 指 非 主线 特性 ， 例 如 分 享 、 二 维 码 扫描 等 。 

(5) 旅馆 区 ， 测 试 计划 中 较 少 描述 的 次 要 功能 和 辅助 功能 ， 例 如 后 退 功能 、 字 体 大 小 、 夜 间 模 式 等 。 

(6) 破旧 区 ， 很 少 提 及 的 特性 ， 例 如 弱 网 络 、 下 载 出 错 后 重新 下 载 、 履 盖 安 装 后 的 书签 或 文件 的 保存 。 


针对 不 同 的 区 域 特 性 ， 又 推荐 了 相应 的 测试 法 ( 见 图 9-3) ， 具 体 可 以 参考 第 8 章 的 内 容 。 


卖点 测试 法 O 变种， 质疑 测试 法 
变种 ， 竞争 对 手 测试 法 
变种 ， 专 家 测试 法 
深夜 测试 法 e ”变种 : 清晨 测试 法 
极限 测试 法 ”© ”变种 ， 找 麻烦 测试 法 
遍历 测试 法 


指南针 测试 法 © 
商业 区 [© 


通 消 测试 法 
娱乐 区 O USE Oo 变种 : 混合 测试 法 
配角 测试 法 


测试 法 


出 租车 测试 法 


bol oA 
SEE AED TAA 


破旧 区 re 


收藏 夹 测试 法 
超 模 测试 法 


旅游 区 [€ 


懒汉 测试 法 


IKEK — Oc — 
取消 测试 法 


亚 邻 测试 法 


上 一 版 本 测试 法 


历史 区 je 


图 9-3 不同 区 域 推荐 测试 法 


9.35 ”场景 模型 


场景 模型 是 指 在 测试 的 过 程 中 可 以 引入 一 些 变 化 操作 ， 如 图 9-4 所 示 ， 包 括 奉 换 数据 、 蔡 换 步骤 、 插 入 步骤、 重复 步骤 、 删 除 步 骤 、 蔡 换 环境 等 。 


替换 硬件 替换 数据 蔡 换 步 骤 
场景 操作 使 用 附加 输入 

访问 新 界面 

修改 本 地 设置 删除 步骤 


表 9-1 所 示 的 是 各 项 操作 的 讲义 和 举例 。 在 实际 测试 中 ， 没 有 思路 时 可 以 随时 参考 获取 测试 灵感 ， 熟 悉 之 后 可 以 无 意识 地 使 用 起 来 。 


增加 更 多 数据 


图 9-4 ”场景 模型 


表 9-1 场景 操作 讲义 及 举例 


口 高 低 配 置 的 手机 、iWatch 和 iPhone 的 差异 ; 
包括 等 换 便 件 、 符 换 容 肯 、 和 蔡 换 版 本 、 口 不 同 的 操作 系统 ; 

口 不 同 的 被 测 版 本 ; 
口 修改 浏览 各 本 地 的 文件 、 时 间 、 手 机 设置 


THIS 修改 输入 数据 类 型 、 大 小 、 传 入 方式 播放 不 同 格式 的 视频 文件 ， 观 察 可 播 性 


改变 操作 顺序 、 改 变 到 达 目 的 界面 的 | 编辑 删除 改 成 滑动 删除 ， 页面 后 退 从 按键 变 成 手势 
JI 滑动 后 退 

用 例 中 长 的 操作 流程 尝试 直接 进入 最 后 | ”本 来 是 下 载 完 毕 再 清理 ,现在 刚刚 局 动 下 载 束 立即 
一 步 进行 编辑 清理 

反复 操作 同一 个 步骤 进行 确认 ， 或 者 极 
限 操 作 


修改 本 地 设置 


重复 步 又 司 动 后 反复 重 局 ， 反 复 点 击 内 屏 的 跳出 按钮 


网 vit OQ 同时 下 载 多 个 文件 ; 
插入 步 又 ER WU. ARMA E 0 边 下 载 边 播放 、 扫 描 大 文件 时 下 载 新 的 大 文件 ; 
口 扫描 文件 时 进入 文件 查看 界面 


9.4 操 线 面 测试 体系 


在 测试 分 析 理 论 百 家 争鸣 的 环境 下 ， 如 何 选择 合适 的 理论 来 服务 于 所 在 的 项 目 是 当务之急 。 任 何 理论 都 有 其 优势 和 不 足 ， 本 节 重 点 介绍 手机 QQ 浏览 器 (Phone) 测试 团队 如 何 有 效 利用 各 种 理论 的 优 
势 ， 并 结合 实践 活动 ， 整 合 出 点 线 面 模型 的 标准 化 测试 方案 。 


9.4.1 建筑 模型 


如 果 被 测试 的 对 象 是 一 栋 建筑 物 ， 那 么 测试 就 是 对 建筑 物 的 质量 进行 检查 的 活动 。App (APPlication， 泛 指 第 三 方 应 用 程序 ) 就 是 一 栋 独 立 的 建筑 物 ， 我 们 在 分 析 一 栋 建 筑 物 的 质量 是 否 合格 时 ， 就 要 


如 图 9-5 所 示 ， 首 先 可 以 将 被 测 应 用 抽象 化 成 一 栋 建 筑 物 ， 将 被 测 应 用 的 各 个 模块 抽象 为 建筑 物 内 的 各 楼 层 ， 即 一 个 个 的 立方 体 。 然 后 将 各 模块 的 各 组 成 部 分 对 应 抽象 为 每 层 楼 的 墙 面 、 地 面 、 台 面 , 也 
就 是 组 成 各 功能 模块 的 产品 元 素 或 者 项 目 环境 。 再 对 各 个 “ 面 ”进行 分 析 ， 将 “ 面 ” 拆 分 成 “ 线 ”， 线 就 是 一 个 测试 过 程 。 再 将 线 拆 分 成 不 同 的 点 ， 也 就 是 测试 过 程 中 的 灵感 变化 。 


ou ”漫游 模型 
ACC HTSM SBIM 场景 模型 


4 * E E 


tco 功能 组 成 测试 灵感 
应 用 BUR JUR 过 程 变化 


4 


E g 1 E 
建筑 一 一 立方 体 一 一 平面 一 一 线 一 一 点 


图 9-5 ”建筑 理论 模型 
这 样 通过 建筑 模型 的 拆 解 ， 就 完成 了 从 App 到 测试 细节 的 分 解 。 那 么 对 不 同 的 部 分 采用 合适 的 分 析 方 法 ， 从 而 更 有 效 地 作用 于 最 后 端的 “点 ”。 
对 功能 模块 的 分 析 ， 我 们 采用 简化 版 的 ACC 模 型 ， 只 取 App 的 各 个 模块 作为 纵 列 ， 称 为 承载 体 ; 横 排 选择 被 测 应 用 所 应 该 具备 的 能 力 ， 称 为 价值 点 。 横 纵 列 交叉 的 内 容 是 各 个 承载 体 对 应 的 价值 点 上 所 
应 该 具备 的 质量 标准 说 明 ， 如 表 9-2 所 示 。 具 体 的 实例 可 见 9.5 节 。 


表 9-2 ACC 分 析 立 方 体 模板 


Ts | as | 
承载 体 1 在 价值 点 1 上 的 简要 实现 承载 体 1 在 价值 点 2 上 的 简要 实现 及 

及 质量 标准 描述 质量 标准 描述 
承载 体 2 在 价值 点 1 上 的 简要 实现 承载 体 2 在 价值 点 2 上 的 简要 实现 及 

及 质量 标准 描述 质量 标准 描述 


对 于 “ 面 ”， 可 以 采用 HTSM 模 型 进行 分 析 ， 即 将 “ 面 ”分 为 组 成 该 模块 即 某 个 承载 体 的 所 有 产品 元 素 (细小 的 功能 ) 、 所 在 的 项 目 环 境 、 每 个 元 素 在 各 个 价值 点 上 的 详细 质量 标准 、 能 用 到 辅助 测试 


的 质量 工具 。 关 于 产品 元 素 和 质量 标准 ， 依 然 采 用 二 维 表 的 形式 ， 与 立方 体 的 分 析 表 现形 式 类 似 ， 横 轴 内 容 不 变 ， 纵 轴 的 承载 体 变更 为 该 模块 对 应 的 产品 元 素 ， 如 表 9-3 所 示 。 关 于 项 目 环境 ， 可 以 分 为 通用 
参考 变量 和 特性 参考 变量 ， 如 表 9-4 所 示 ， 有 具体 分 为 App 设 置 、 手 机 设置 、 外 部 环境 、 输 入 操作 ， 具 体 的 实践 案例 请 参考 9.5 节 。 


表 9-3 HTSM 分 析 模 型 之 产品 元 素 与 质量 标准 


承载 体 1 价值 点 1 价值 点 2 | eee 
产品 元 素 1 在 价值 点 1 上 的 简要 实 产品 元 素 1 在 价值 点 2 上 的 简要 实现 | 


mA 1 EX. L— vB JH E. L— vB qn 
产品 元 素 及 质量 标准 描述 及 质量 标准 描述 


产品 元 素 2 在 价值 点 1 上 的 简要 实 产品 元 素 2 在 价值 点 2 上 的 简要 实现 


大 


WILE 2 PUMA NA ES ec eus 
产品 元 素 2 | 现 及 质量 标准 描述 及 质量 标准 描述 


表 9-4 HTSM 分 析 模 型 之 项 目 环境 


App 设置 手机 设置 外 部 环境 输入 操作 


类 别 | 变化 内 容 变化 内 容 变化 内 容 | ”类 别 | 变化 内 容 


“ 线 ” 的 分 析 主 要 采用 SBTM 模 型 ， 将 测试 活动 分 为 几 个 围绕 主题 的 测试 过 程 。 设 置 好 过 程 记录 ， 围 绕 “ 面 ”提供 的 启发 式 列表 进行 测试 。 测 程 的 重点 在 于 规划 好 测试 过 程 ， 可 以 通过 设置 测试 记录 的 
格式 来 调节 测试 过 程 。 可 用 提 测 表 和 提 测 回执 来 展示 测试 过 程 ， 具 体 如 表 9-5 和 表 9-6 所 示 。 在 这 一 过 程 中 ， 重 点 在 于 灵感 记录 、 风 险 评估 、 时 间 管 理 等 ， 具 体 的 实践 案例 请 参见 9.5 节 。 


表 9-5 RAK 


质量 标准 分 析 
价值 点 1 价值 点 2 |  -- 


风险 疑问 BEEN 
(过 程 中 思考 的 疑问 、 未 测试 到 的 内 容 、 无 法 测试 的 内 容 ) | 
| | 
RI Bug 的 数量 —— 
用 到 的 非 推荐 的 策略 名 称 和 思路 ; 


what's more 


用 到 的 非 推 荐 的 变量 ; 


测 程 总 时 间 | 
干扰 时 间 
(与 本 次 测 程 无 关 的 干扰 时 间 评 佑 ) 
时 间 记 录 /分 钟 | 提单 时 间 
(处 理 Bug 状态 、 提 交 Bug 单 ) 


沟通 时 间 
(和 开发 、 产 品 、 测 试 沟通 的 时 间 评 信 ) 


“点 ”对 应 建筑 中 的 施工 操作 ， 例 如 人 驹 砖 、 打 桩 、 上 梁 等 操作 ， 而 测试 活动 中 主要 侧重 于 灵感 获取 和 测试 执行 ， 真 正 做 到 边 测试 、 边 设计 、 边 执行 。 能 够 根据 当前 测试 的 结果 ， 灵 活 采 用 漫游 测试 模型 
或 者 场景 模型 ,不 受 写 好 用 例 的 束缚 。 


通过 对 被 测 App 从 立方 体 到 点 的 逐步 拆 解 ， 我 们 重新 梳理 出 了 一 套 测 试 活动 系统 ， 这 套 系统 结合 了 业界 先进 的 分 析 方 法 ， 可 有 效 指导 实践 。 


9.4.2 责任 分 工 


前 面 介绍 了 建筑 模型 ， 那 么 实际 操作 中 ， 人 员 的 分 工 是 如 何 进行 的 呢 ? 一 般 来 说 ， 一 个 测试 团队 都 有 负责 人 和 若干 偏执 行 的 测试 工程 师 。 当 然 不 排除 有 的 团队 角色 分 工 不 是 很 明显 ， 本 节 重 点 介绍 有 负 
责 人 的 测试 活动 ， 其 他 类 型 的 测试 团队 可 以 参考 借鉴 。 


如 图 9-6 所 示 ， 偏 执行 的 测试 工程 师 在 建筑 模型 中 对 应 建筑 工人 的 角色 ， 建 筑 工 人 主要 使 用 各 种 建筑 技能 来 进行 驹 砖 、 打 桩 、 上 梁 等 操作 ， 此 处 比喻 为 利用 漫游 模型 或 者 场景 模型 辅助 进行 测试 活动 ， 能 
够 根据 当前 的 施工 状况 灵活 采取 措施 ， 具 有 一 定 的 主观 能 动 性 和 思考 性 。 他 们 可 以 借助 大 型 工具 (自动 化 测试 工具 ) 来 辅助 工作 ， 但 是 工具 只 是 工具 ， 操 作者 还 是 建筑 工人 ， 建 设 的 质量 依赖 于 建筑 工人 的 
技能 熟练 程度 和 对 工具 的 得 当 使 用 。 这 里 也 能 从 一 定 程度 上 回答 为 什么 手工 测试 一 直 无 法 被 完全 取代 的 原因 ， 即 测试 活动 与 建筑 活动 类 似 ， 都 要 有 人 的 思考 判断 ， 这 是 机 器 目前 无 法 实现 的 。 


如 图 9-6 所 示 ， 测 试 负责 人 对 应 的 建筑 模型 就 是 建筑 工程 师 、 质 检 员 、 包 工头 的 角色 ， 对 应 工作 就 是 制定 各 种 质量 标准 (对 应 测试 的 是 ACC 分 析 各 个 模块 价值 点 ) 、 整 体 分 析 (利用 HTSM 做 面 的 分 
析 ) 、 测 程 设计 (利用 SBTM 做 测 程 规 划 管 理 ) ， 还 要 负责 给 建筑 工人 (测试 执行 者 ) 做 相关 技能 培训 。 


对 应 工作 


EHEAR Ei, TIE. ERT 
(使 用 漫游 模型 的 辅助 进行 测试 、 反 馈 ) 


制定 质量 标准 (ACC) 


整体 分 析 ( HTSM ) 


测 程 设计 (SBTM) 


技能 培训 


图 9-6 2H 
通过 这 种 分 工 方式 可 以 最 大 化 利用 团队 成 员 的 优势 来 保障 测试 活动 的 高 效 有 序 。 
9.4.3 ”三 个 标准 化 
前 面 介绍 了 诸多 模型 和 分 工 ， 实 质 上 就 是 为 测试 标准 化 做 准备 。 测 试 标 准 化 是 通过 三 个 标准 化 〈 准 入 标准 化 、 过 程 标 准 化 、 退 出 标准 化 ) 体系 来 获得 科学 的 整体 质量 度量 ， 即 结合 点 线 面 测试 体系 对 测 


试 活动 做 一 个 详细 和 合理 的 规范 ， 使 得 测试 活动 各 个 环节 有 序 、 灵 活 、 可 复制 。 
1. 准 入 标准 化 
准 入 标准 化 是 测试 策略 的 制定 标准 化 。 本 身 测 试 策略 的 制定 因 项 目 和 人 而 异 ， 我 们 希望 能 够 通过 一 种 有 效 模型 来 达到 “灵活 通用 的 测试 策略 制定 ”的 目标 。 


对 于 新 增 功能 ， 要 按照 需求 说 明文 档 或 者 口头 说 明 来 进行 用 例 设计 ， 不 同 之 处 是 要 结合 建筑 模型 中 对 立方 体 和 面 的 分 析 ， 对 新 增 功能 所 属 的 模块 (立方 体 ) 进行 维护 和 修改 ， 对 新 增 功 能 所 属 的 面 进行 
内 容 补充 ， 包 括 承载 体 和 价值 点 的 补充 修改 以 及 相关 变量 的 增加 。 对 集成 测试 或 者 旧 功 能 重 构 类 可 以 不 进行 用 例 设计 。 对 承载 体 、 价 值 点 、 相 关 变 量 的 直接 修改 能 够 帮助 快速 制定 测试 策略 。 


准 入 测试 还 要 关注 提 测 时 是 否 达 到 相应 的 质量 标准 ， 包 括 环境 配置 是 否 正 常 、 自 测 单 是 否 给 出 (回归 测试 ) 、 开 发 是 否 自 测 通过 (迭代 测试 ) 、 自 动 化 测试 是 否 通过 、 提 测 说 明 是 否 完备 、 风 险 说 明 是 
否 给 出 、 时 间 和 机 型 是 否 合乎 要 求 等 。 


2. 过 程 标准 化 
过 程 标 准 化 是 指 对 测试 过 程 中 的 有 序 控制 和 有 效 引 导 。 


有 序 控制 体现 在 时 间 的 配置 和 调 优 上 。 对 于 时 间 的 配置 ， 在 提 测 前 测试 负责 人 应 该 结合 项 目 进度 和 实际 人 力 情况 来 预 估 用 例 时 间 、 探 索 式 测试 时 间 ， 在 执行 过 程 中 应 该 记录 实际 执行 用 例 的 时 间 、 探 索 
式 测 试 时 间 、 被 干扰 的 时 间 。 调 优 是 指 获得 了 过 程 中 的 时 间 、Bug 数 据 ， 可 以 对 测试 过 程 进 行 优化 ， 例 如 干扰 时 间 比 较 多 的 时 候 ， 就 要 找 出 测试 经 常 被 打 断 的 原因 ， 并 加 以 改进 。 哪 个 测试 人 员 提 的 Bug 比 
较 少 ， 或 者 哪个 模块 暴露 的 严重 缺陷 比较 多 ， 也 值得 关注 。 过 程 中 发 现 的 没有 测试 到 的 点 ， 也 需要 在 测试 结束 时 进行 总 结 和 讨论 ， 是 否 有 开展 下 一 轮 测试 的 必要 。 


过 程 标准 化 的 有 效 引 导 表 现在 使 用 探索 式 测试 过 程 中 ， 利 用 承载 体 在 各 个 价值 点 上 的 质量 标准 ， 以 及 变量 和 策略 的 推荐 ， 作 为 探索 式 ;测试 的 启发 式 列表 ， 对 测试 范围 和 深度 进行 有 效 说 明 ， 并 给 予 过 程 
中 以 测试 灵感 。 另 外 ， 这 些 表 项 的 内 容 都 是 可 以 在 一 次 次 实践 中 不 断 修改 和 完善 的 ， 集 合集 体 的 测试 智慧 ， 更 好 地 指导 今后 的 实践 。 


过 程 标准 化 很 重要 的 一 点 是 做 好 过 程 记 录 。 过 程 记 录 的 良好 设计 能 够 有 效 反 馈 测试 过 程 的 数据 ， 也 能 够 将 测试 过 程 记录 的 成 本 降 到 最 低 ， 甚 至 启发 测试 灵感 。 


3. 退 出 标准 化 
退出 标准 比较 好 理解 ， 就 是 什么 时 候 测试 可 以 结束 。 对 于 这 一 点 ， 业 界 有 很 多 说 法 ， 包 括 以 缺陷 收敛 程度 、 基 于 测试 经 验 、 测 试用 例 执 行程 度 等 为 标准 。 本 小 节 主 要 介绍 基于 点 线 面 测试 体系 的 退出 标 
准 。 


首先 是 必须 测试 的 主 路 径 用 例 或 者 需求 已 验证 完毕 ， 此 种 退出 适用 于 紧急 情况 ， 即 需要 快速 给 出 测试 结果 时 ， 可 做 出 测试 结束 的 决定 。 
其 次 必 测 的 承载 体 在 对 应 价值 点 上 的 质量 标准 应 该 覆盖 完整 ， 推 荐 变量 覆盖 完全 、 策 略 使 用 完毕 。 


最 后 ， 如 果 项 目 时 间 稍 充裕 ， 可 以 在 推荐 策略 和 变量 之 外 再 多 履 盖 一 些 通 用 变量 ， 更 多 地 使 用 不 同 的 模型 思路 去 设计 测试 场景 ， 直 到 发 现 不 了 更 多 问题 为 止 ， 视 为 测试 可 退出 。 


9.5 “实践 案例 
本 节 主 要 介绍 手机 QQ 浏览 器 (Phone) 测试 团队 是 如 何 结合 建筑 模型 进行 实际 标准 化 测试 实践 的 。 
9.5.1 ”承载 体 和 价值 点 提炼 


在 建筑 模型 中 提 到 了 要 对 App 拆 分 出 来 的 立方 体 (模块 ) 进行 承载 体 和 价值 点 的 提炼 。 对 浏览 器 这 个 被 测 对 象 ， 我 们 从 用 户 角度 提炼 出 了 九 个 维度 的 价值 点 : 获取 信息 、 编 辑 、 下 载 、 社 交 分 享 、 播 放 


阅读 、 隐 私 安全 、 商 业 能 力 、 杀 手 应 用 、 多 快 好 省 。 这 些 价 值 点 的 提炼 参考 了 ACC 模 型 中 的 能 力 提炼 。 跳 出 需求 说 明 本 身 ， 从 一 个 更 贴近 用 户 视角 的 角度 来 看 对 App 能 够 提供 的 服务 进行 分 类 汇总 ， 这 样 做 
是 为 了 给 探索 式 测 试 或 者 自由 测试 阶段 提供 新 的 视角 ， 尽 最 大 可 能 降低 与 用 例 设计 思路 的 重合 。 


(1) 获取 信息 : 浏览 器 最 重要 的 也 是 最 直观 的 价值 ， 就 是 能 为 用 户 提 供 获取 信息 的 渠道 。 落 实 到 具体 的 模块 ， 就 是 搜索 服务 要 能 够 正常 使 用 ， 用 户 能 获取 想 要 的 内 容 ， 不 可 以 白 屏 ， 不 可 以 点 击 搜索 崩 
演 ， 页 面 展示 要 能 够 完整 无 越界 ， 书 签 能 够 跳 转 到 对 应 的 链接 等 。 这 些 是 浏览 器 的 核心 质量 ， 不 和 
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(2) 编辑 : 编辑 是 一 般 App 都 具备 的 价值 ， 被 测 App 上 能 够 提供 给 用 户 可 编辑 的 界面 和 工具 。 例 如 下 载 好 的 内 容 可 以 保存 、 重 命名 或 删除 ， 对 书签 快 链 可 以 添加 、 删 除 ， 对 搜索 引擎 可 以 设置 ， 小 说 可 
以 在 书架 里 移动 位 置 等 。 编 辑 属于 浏览 器 或 者 一 般 App 必 备 的 价值 。 


(3) FR: 下 载 是 很 多 应 用 类 App 提 供 的 功能 ， 浏 览 器 可 以 提供 文件 类 的 下 载 ， 也 可 以 提供 视频 的 下 载 。 这 是 一 个 卖点 价值 ， 如 很 多 视频 播放 类 软件 、 应 用 分 发 类 软件 都 应 具备 这 种 功能 。 下 载 功 能 使 


得 App 能 在 无 网 络 状态 下 为 用 户 提供 服务 。 从 下 载 这 个 价值 点 维度 上 看 ， 浏 览 器 下 载 在 很 多 模块 中 都 或 多 或 少 有 涉及 。 
(4) 社交 分 享 : 社交 分 享 是 很 多 内 容 类 应 用 常见 的 功能 。 浏 览 器 作为 内 容 呈 现 的 容器 ， 必 须要 有 社交 分 享 这 个 价值 点 ， 让 用 户 可 将 内 容 分 享 、 传 播 到 第 三 方 App。 当 然 ， 其 中 会 包含 账号 登录 体系 、 内 


容 同步 功能 ， 游 戏 类 App 里 还 涉及 账号 体系 里 的 好 友 竞 技 。 


(5) 播放 阅读 : 播放 阅读 着 重 强 调 可 播 性 、 可 读 性 的 价值 点 ， 例 如 文档 类 的 解压 阅读 、 视 频 的 播放 、 小 说 阅读 的 流畅 性 等 。 播 放 阅 读 是 评价 浏览 器 是 否 好 用 的 一 个 非常 重要 的 指标 ， 因 此 可 以 列 入 价值 
点 的 一 个 分 类 中 。 一 些小 说 阅读 软件 、 微 博 产品 在 这 方面 都 可 以 参考 借鉴 。 


(6) 隐私 安全 : 隐私 安全 是 价值 点 中 不 可 不 说 的 一 个 维度 。 对 于 浏览 器 来 说 ， 要 检测 危险 站 点 ， 也 要 保护 用 户 阅读 记录 。 这 些 隐私 安全 体现 在 各 个 模块 的 各 个 角落 ， 应 单独 列 出 ， 测 试 人 员 应 特别 天 注 
新 增 功能 和 | 旧 有 功能 在 隐私 安全 方面 的 问题 。 


(7) 商业 能 力 : 商业 能 力 是 指 App 中 涉及 用 户 付 费 或 者 运营 广告 的 地 方 。 因 为 付费 环节 是 App 开 发 者 的 主要 收入 来 源 ， 也 是 用 户 比 较 敏感 的 环节 ， 而 广告 运营 也 是 App 盈 利 的 一 种 模式 ， 故 都 需要 特别 
关注 。 在 商业 功能 方面 的 任何 一 个 地 方 出 现 问题 ， 都 会 产生 极 大 的 经 济 损失 ， 并 损害 用 户 利益 ， 所 以 这 项 功能 不 容 忽视 。 


(8) 杀手 应 用 : 杀手 应 用 是 指 App 为 提升 用 户 活跃 度 所 实现 的 功能 ， 例 如 下 载 该 App 可 以 提供 免费 Wi-Fi， 又 或 者 能 够 帮助 用 户 拦截 恶意 电话 等 。 这 项 功能 能 给 用 户 带 来 附加 值 ， 是 有 效 提升 日 活 和 拉 
新 的 手段 ， 因 此 称 为 杀手 应 用 。 杀 手 应 用 也 可 能 存在 于 各 个 模块 中 ， 所 以 也 单列 为 一 个 价值 点 维度 。 


(9) 多 快 好 省 : 多 快 好 省 更 强调 性 能 方面 的 要 求 ， 倡 导 内 容 丰富 (多 ) 、 速 度 流畅 ( 快 ) 、 使 用 便捷 (好 ) 、 省 流量 省 电 (省 ) 。 
在 承载 体 的 划分 上 ， 提 取 独 立 模块 作为 承载 体 ， 将 一 些 共 有 的 功能 模块 放 人 在 变量 里 ， 供 各 个 模块 参考 使 用 。 表 9-7 所 示 的 是 手机 QQ 浏览 器 (iPhone) 承载 体 和 价值 点 的 部 分 内 容 。 


表 9-7 手机 QQ 浏览 器 (iPhone) 的 承载 体 和 价值 点 (部 分 ) 


价值 点 (Values ) 


sme LLL MUS 


能 添加 删 "T 

"wem Lie 文 持 上 自动 阅 

| | 可 进行 小 说 | 读 及 字体 、 颜 

小 说 | 内 搜索 小 说 、| 持 部 分 格式 | 小 说 可 下 载 | 人 phe 
push 更 新 的 小 说 ， 调 | 


du TEAREN 
救 书 加 整 ， 小 说 续 读 


浏览 话 测试 体系 


在 各 类 视频 
| 站 点 中 可 下 载 
承载 体 视频 可 在 视频 ， 包 含 多 LE E| 
地 址 栏 和 页 | 可 下 载 、| 集 下 载 和 单 级 x aur AE HUE | 
内 搜索 框 搜 | 编辑 下 载 、 播 放 过 | 5 | 后 退 、 自 有 播 | 2 
E 程 中 下 载 、 移 放 器 调用 abd 
动 网 络 下 下 载 
提示 


承载 体 在 手机 QQ 浏览 器 (iPhone) 上 可 划分 为 几 大 模块 ， 即 小 说 、 视 频 、 搜 索 、 资 讯 、 书 签 、 历 史 、 游 戏 、 活 动 类 、 文 件 、TOP 网 页 、 识 别 。 将 与 浏览 器 设置 相关 的 内 容 都 放 到 变量 里 。 各 个 承载 体 
都 有 多 个 入 口 ， 这 里 不 一 一 介绍 。 


视频 


价值 点 和 承载 体 交 叉 的 部 分 是 质量 标准 。 每 个 模块 在 对 应 的 价值 点 都 要 达到 其 质量 标准 ， 这 个 质量 标准 对 测试 起 的 作用 就 是 简洁 地 概括 了 测试 目标 ， 具 体 的 内 容 还 得 看 细 化 的 承载 体 和 价值 点 。 比 如 小 
说 在 信息 获取 这 个 价值 点 的 质量 标准 就 是 : 支持 书城 内 搜索 小 说 、push 更 新 。 看 起 来 比较 像 “ 黑 话 ”， 实 质 上 对 于 常用 浏览 器 的 人 来 说 是 比较 清晰 的 ， 就 是 小 说 这 个 模块 需要 提供 搜索 小 说 的 能 力 ， 对 小 说 
的 更 新 提醒 也 要 正确 。 这 里 有 人 可 能 会 有 疑问 了 ， 如 果 是 新 人 ， 如 何 快速 看 懂 ? 不 要 急 ， 我 们 在 细 化 承载 体 和 价值 点 上 有 更 具体 的 说 明 。 


9.5.2” 细 化 承载 体 和 价值 点 


细 化 的 承载 体 和 价值 点 ， 即 在 建筑 模型 中 将 立方 体 拆 解 成 面 来 分 析 ， 每 个 面 都 承载 着 价值 点 的 具体 实现 ， 如 表 9-8 所 示 (由 于 格式 所 限 ， 不 能 查看 完整 的 内 容 ) 。 搜 索 这 个 承载 体 细 化 后 ， 可 以 分 为 切换 
搜索 引擎 、 搜 索 直 达 、 匹 配 和 推荐 、 垂 直 分 类 、 搜 索 记 录 、 搜 索 结果 页 、 网 页 内 搜索 。 


表 9-8 搜索 承载 体 具体 分 析 (部 分 ) 


价值 点 (Values ) 


浏览 器 测试 体系 


目 动 匹配 、 搜 索 | ”可 有 目 动 粘贴 复制 内 容 、 选 择 匹 | ”下载 链接 可 以 跳 


ARE SUR 直达 、 引 擎 配置 “| 配 词 转正 确 | 
(1 ) 在 搜索 框 状态 下 可 切换 搜 
设置 的 引擎 生 | 索引 擎 
效 ， 搜 索 内 容 是 | Q ) 搜索 过 程 中 ， 仍 可 自由 切 
切换 搜索 引擎 | 基于 搜索 引擎 配 | 换 搜索 引擎 
置 的 内 容 (3) 重启 、 前 后 台 切换 、 升 级 
—— 后 保持 搜索 引擎 
HA “QQ” 字体 ， 
| 可 以 达到 所 选 | 响应 外 部 复制 的 网 址 或 者 文字 | 可 匹配 出 下 载 按 
搜索 直达 ed 


的 内 容 和 直达 匹配 钮 ， 点 击 可 进入 
AppStore 下 载 中 心 


这 些 细 化 的 承载 体 简单 看 就 是 各 个 入 口 、 各 种 功能 的 实现 分 类 ， 将 这 些 进行 组 合 即 可 得 到 搜索 大 承载 体 。 每 个 承载 体 在 价值 点 上 都 有 具体 的 质量 标准 ， 这 些 细 化 的 质量 标准 就 是 进一步 指导 探索 式 测试 
的 启发 式 列表 。 有 些 价 值 点 在 承载 体 上 不 涉及 ， 就 可 以 直接 标注 不 涉及 。 


在 搜索 的 细 化 承载 体 “ 切 换 搜 索引 警 ” 与 价值 点 “编辑 ”上 的 质量 标准 如 下 : 
. 在 搜索 框 状态 下 可 切换 搜索 引擎 。 

` 搜索 过 程 中 ， 仍 可 自由 切换 搜索 引擎 。 

| 重启 、 前 后 台 切 换 、 升 级 后 保持 搜索 引擎 。 


上 述 三 点 摘 述 了 具体 的 切换 搜索 引 警 的 场景 ， 但 是 如 何 自由 地 切换 搜索 引擎 ， 以 及 如 何 设置 搜索 引擎 ， 就 需要 结合 变量 来 不 断 尝 试 了 。 而 变量 因子 的 结合 使 用 ， 又 要 考虑 到 策略 问题 。 


9.5.3 ”变量 因子 及 策略 


变量 因子 在 HTSM 中 被 归 类 到 项 目 环境 中 。 在 测试 实践 中 ， 我 们 可 以 单列 一 个 表格 来 梳理 通用 的 变量 以 及 特殊 模块 专 有 变量 。 


通用 变量 分 别 如 表 9-9、 表 9-10 所 示 ， 我 们 把 变量 分 为 App 设 置 、 手 机 设置 、 外 部 环境 、 输 入 操作 四 个 部 分 ， 每 个 部 分 又 有 不 同 的 分 类 和 变化 内 容 。App 设 置 主要 来 自 于 被 测 App 的 一 些 公 共 模 块 ， 各 个 
功能 模块 又 或 多 或 少 涉及 一 些 ， 因 此 不 能 作为 价值 承载 体 ， 而 是 作为 变量 单独 列 出 。 手 机 设置 是 指 能 够 影响 被 测 App 使 用 的 设置 项 ， 例 如 横 坚 屏 锁 定 、 机 型 系统 等 。 外 部 环境 是 指 被 测 App 所 处 的 环境 ， 例 
如 网 络 、 测 试 环境 等 。 还 有 一 个 重要 的 变量 ， 我 们 称 为 输入 操作 ， 是 指 对 一 些 App 常 出 现 问题 的 操作 做 一 个 归 类 ， 用 于 指导 和 提醒 测试 人 员 在 测试 过 程 中 多 尝试 这 些 操作 ， 例 如 连续 点 击 、 快 速 后 退 等 操 
作 。 


表 9-9 通用 变量 因子 1 


类 别 


模式 


类 别 


设置 


通知 栏 


App 设置 
变化 内 容 


TT 


定时 刷新 


收藏 到 QQ、 收 藏 到 微 信 
网 页 字体 大 小 
旋转 屏幕 


Wm 


启动 时 打开 上 次 页 面 
主页 资讯 设置 
通知 栏 消息 


| 
[D EMER | 


清楚 浏览 数据 


mh | 
ve | 


表 9-10 


通用 变量 因子 2 


手机 设置 
变化 内 容 

坚 屏 锁 定 开关 

放大 /标准 模式 


机 型 4、 机 型 5、 机 型 6 
iOS 7, 10S 8, iOS 9, 


手机 设置 


IOS 10 


(5) 


à 


输入 操作 


锁 屏 后 解锁 


开启 热点 、 接 入 热点 TER BC THE i RJ EA 
PS Pede EC E A. 
更 换 或 退出 账号 后 重新 登录 查看 


— O 文 持 解压 缩 包 的 格式 有 rar, 7Z, zip, tar, gz, bz2 

ZARE . 
配置 系统 D iOS 应 用 下 载 

RAFE 图 片 有 gif, jpg 等 

zs | 文件 格式 — 

一 音 视 频 有 mp3, m4a, wav, mp4, qqv, m3u8, mov 

测试 环境 ame X FH pdf, html, ppt, htm, pptx, xls, xlsx, doc, 
docx, key, epub, txt 


文件 大 小 
zs 日 文件 


退 ( 记 住 阅读 位 置 ) 
F-n Du 

连续 快速 操作 刷新 

按钮 类 

点 击 后 立即 返回 


除了 通用 变量 ， 一 些 模块 也 有 自己 独特 的 变量 环境 ， 例 如 手机 QQ 浏览 器 中 的 小 说 书架 就 有 其 特有 的 变量 ， 表 9-11 所 示 的 是 小 说 模块 的 部 分 变量 表 。 模 式 里 就 包含 书架 的 宫 格 模式 和 列表 模式 ， 文 件 格 


式 变量 也 格外 强调 了 小 说 类 型 的 格式 ， 如 epub 格 式 。 


表 9-11 小 说 变量 表 


App i£ & 手机 设置 外 部 环境 输入 操作 
类 变化 内 容 变化 内 容 | 类 变化 内 容 


a de Y 竖 j E yi XE. v 
宫 格 模式 Wi-Fi 重启 浏览 器 
手机 设置 | 一 


书架 编辑 态 
aret 弱 网 络 前 后 台 切 换 


(删除 、 移 动 、 


模式 | 简介 ) 
XX £e ARA J i | 
na sd n 机 型 4、 机 开启 热点 、 升级 或 者 覆盖 安 
简介 ) 型 5S、 机 型 6 接 入 热点 装 后 进 
es 


iOS 7、iOS 
阅读 模式 8. iOS 9, iOS 无 网 络 


正文 夜间 模式 


目 动 翻 页 模式 


后 重新 登录 查看 
手势 操作 


txt 本 地 
epub 本 地 
文件 格式 精 阅 小 说 
普通 小 说 
c--- 
使 用 变量 ， 涉 及 测试 策略 选择 的 问题 。 我 们 推荐 在 测试 过 程 中 思考 下 一 步 操作 。 同 样 ， 测 试 策略 也 作为 启发 式 列表 提供 给 测试 者 ， 分 为 通用 策略 和 推荐 策略 。 通 用 策略 按照 模型 又 可 分 为 漫游 模型 策略 
和 场景 模型 策略 。 表 9-12 所 示 的 是 漫游 模型 的 部 分 策略 说 明 ， 我 们 将 漫游 模型 (漫游 模型 完整 的 策略 说 明 可 参考 9.3 节 的 内 容 ) 中 比较 接近 的 方法 归 类 到 一 起 ， 为 了 增加 趣味 性 ， 我 们 将 这 些 策略 印 在 扑克 上 牌 


上 ， 将 策略 的 说 明 放 在 扑克 牌 的 正面 ， 举 例 放 在 扑克 牌 的 反面 。 除 了 趣味 性 ， 还 有 一 个 好 处 ， 就 是 可 以 不 断 补 充 扑 克 牌 的 内 容 ， 鼓 励 测试 人 员 每 个 个 体 发 展 新 的 策略 ， 拥 有 独特 的 扑克 牌 ， 时 间 长 了 就 知道 
哪些 扑克 牌 在 哪些 场景 下 更 适用 ， 从 而 更 多 地 发 现 Bug。 


MB d GB HK m 


10 


49-12 ”漫游 模型 部 分 策略 说 明 


牌 面 | 推荐 测试 策略 讲义 (扑克 牌 正 面 ) 


1 ) SE 68 T UAE SC o Ze RUNI T i X) 
比 ， 比 性 能 、 


功能 完备 性 和 便捷 性 。 因 为 
是 获取 信息 的 能 力 ， 所 以 属于 浏览 带 核 心 
能 力 中 排名 第 一 的 能 力 ， 必 须 与 苑 争 对 手 
比 对 

2 ) 地 标 法 实质 上 是 逐个 检查 信息 获取 
的 能 力 ， 直 到 把 整个 浏览 硕 所 有 涉及 信息 
获取 的 路 人 径 痢 检查 一 遍 ， 结 合 苑 争 对 手 测 
试 法 ,可 以 确保 所 有 实现 都 符合 需求 并 且 
iin RET VES B UC 


^A | si PET + 地标 


1) 极限 测试 法 能 够 考验 一 种 能 力 在 极 
其 差 的 环境 下 的 表现 。 作 为 核心 能 力 的 获 
取信 息 能 力 ， 浏 览 硕 必须 表现 出 强大 的 抗 
压 性 和 健壮 性 

2) 破坏 测试 实质 上 是 指 对 数据 、 对 环 
境 进行 干涉 后 ， 检 查 浏 览 带 能 力 ， 多 数 是 
和 极限 测试 法 一 起 使 用 的 

1 ) 强迫 症 测试 法 重点 要 义 是 用 户 因 为 
不 放心 导致 的 反复 操作 确认 。 币 用 在 社交 
分 侠 这 个 价值 点 上 ， 就 是 用 户 关 于 登录 、 
分 享 的 反复 确认 和 取消 

2 ) 人 遍历 测试 法 是 通过 选 定 目标 ,使 用 
最 短路 径 访 问 目标 包含 的 所 有 对 象 ， 因 为 
浏览 项 上 分 吾 的 功能 比较 多 ， 对 任何 一 个 
测试 对 象 ， 郡 可 以 用 遍历 的 方式 把 所 有 分 
E EU fio — IN 


VA | 极限 + 破坏 


eA | mE +W 


除 漫游 模型 ， 还 有 场景 模型 ， 也 是 采用 扑克 牌 记录 的 一 种 方式 ， 如 表 9-13 所 示 。 场 景 模 型 策略 的 使 用 也 很 方便 灵活 ， 在 测试 过 程 中 缺乏 思路 的 时 候 可 以 随时 运用 场景 模型 的 策略 进行 变化 ， 结 合 不 同 变 


量 因子 更 是 可 以 产生 出 不 同 的 路 径 效 果 。 


表 9-13 场景 模型 部 分 策略 说 明 


牌 面 | 推荐 测试 策略 讲义 (扑克 有 牌 正面 ) 
实例 : 
玲 换 环境 包括 : WIRE. ERI 的 差异 。 
^J THERE 换 容 天、 答 换 版 本 、 修 改 本 地 


设置 


举例 (扑克 有 牌 反面 ) 


资讯 : 资讯 类 通知 栏 下 达 及 时 性 元 品 
对 比 ; 资讯 类 推荐 是 否 具 备 实效 性 

小 说 : 最 新 章节 更 新 ， 内 外 push 更 新 
可 达 性 和 最 新 性 ， 与 竞 品 做 对 比 

搜索 : 最 新 出 的 电视 剧 或 者 火热 小 说 
的 直达 是 否 能 够 迅速 出 现在 搜索 直达 上 ， 
uf ELS E 

网 页 : FTI EE., VJ EIE RR E v m 
对 比 

识别 : 二 维 码 识别 速度 和 成 功率 ， 苋 
品 对 比 


资讯 : 弱 网 络 下 ,不 停 下 拉 页 面 进行 
加 载 内 容 ， 速 度 很 快 的 情况 下 ， 页 面 展 
示 效 果 如 何 

历史 : 历史 记录 超过 和 干 条 ， 禾 盖 升 级 
后 会 有 什么 问题 

XE: 解压 过 程 中 重 局 浏览 锋 ， 是 否 
出 现 异常 ; 各 种 格式 的 文件 是 否 能 够 打开 


资讯 : 在 各 种 网 络 条 件 下 ， 对 各 种 对 
象 进行 不 同 渠 道 的 分 享 ， 取消 分 娃 ， 下 
ES 

活动 类 : 登录 账号 ， 更 换 账 号 登录 ， 
取消 账号 登录 ， 再 次 登录 ， 参 加 活动 

视频 : 登录 账号 ， 编 辑 弹 禹 ， 取 消 编 
辑 ， 再 次 发 送 


举例 (扑克 有 牌 反面 ) 


高 低 配 置 的 手机 、Apple Watch 和 iPhone 


实例 : 不 同 的 操作 系统 。 
实例 : 不 同 的 被 测 版 本 。 
实例 : 修改 浏览 锅 本 地 的 文件 、 时 间 、 手 机 设置 


牌 面 | 推荐 测试 策略 讲义 (扑克 牌 正 面 ) 举例 (扑克 上牌 反 面 ) 


修改 输入 数据 类 型 、 大 小 、 传 
AJIN 


改变 操作 顺序 、 改 变 到 达 目 的 | ”实例 : 编辑 删除 改 成 滑动 删除 ， 页 面 后 退 从 按键 
寞 面 的 方式 变 成 手势 滑动 后 退 

将 用 例 中 长 的 操作 流程 尝试 下 | 实例: 本 来 是 下 载 完毕 再 清理 ， 现 在 刚刚 局 动 下 
接 进入 最 后 一 步 载 就 立即 进行 编辑 清理 

反复 操作 同一 个 步骤 进行 确 | 实例 : 局 动 后 反复 重 司 ,反复 点 击 闪 屏 的 跳出 
认 ， 或 者 极限 操作 按钮 


实例 : 同时 下 载 多 个 文件 。 

插入 步 又 包括 : 增加 更 多 数据 、| ”实例 : 边 下 载 边 播放 、 扫 描 大 文件 的 时 候 下 载 新 
使 用 附加 和 输入、 使 用 新 界面 的 大 文件 。 
实例 : 扫 摘 文件 的 时 候 ， 进 入 文件 查看 界面 


实例 : 播放 不 同 格式 的 视频 文件 ， 观 察 可 播 性 


THRZE Jf 


重复 步 又 


插入 步 又 


9.5.4. 动态 测试 测 程 


ANNAS 


程 中 对 策略 、 变 量 的 覆盖 ， 关 注 时 间 的 利用 ， 关 注 过 程 灵 感 。 以 手机 QQ 浏览 器 (iPhone) 的 某 个 版 本 集成 测试 为 例 ， 给 读者 展示 动态 测试 测 程 的 起 止 形式 。 

1. 动 态 测试 测 程 起 始 提 测 

由 于 集成 测试 需要 履 盖 的 承载 体 比较 多 ， 因 此 可 以 将 不 同 的 承载 体 分 给 不 同 的 测试 工程 师 ， 每 个 承载 体 独 立 作 为 一 个 主题 整体 推荐 给 策略 和 变量 ， 也 可 以 将 不 同 的 承载 体 分 别 推荐 给 策略 和 变量 。 如 表 
9-14 所 示 ， 在 集成 测试 正式 提 测 前 应 与 开发 人 员 沟通 本 次 集成 测试 需要 重点 关注 的 内 容 ， 以 及 不 需要 履 盖 的 内 容 ， 对 已 经 有 的 完整 的 承载 体 和 价值 点 表格 进行 修改 ， 不 需要 履 盖 的 内 容 可 以 置 灰 ， 需 要 特别 
关注 的 可 以 标 红 。 


表 9-14 集成 测试 提 测 表 (部 分 ) 


价值 点 (Values) 


浏览 器 测试 体系 
Ti 社交 分 享 [-— 


能 添加 删除 
文 持 书 城内 搜索 | 小 说 ， 文 持 部 


承载 体 | 小 说 小 说 可 下 载 | | 


小 说 、push 更 新 “| 分 格式 的 小 说 ， 


调整 书架 


价值 点 (Values) 


浏览 器 测试 体系 
aaas [e 


类 Tl ETT V iH H 
视频 可 在 地 址 栏 在 各 类 视频 站 点 中 可 下 


载 视 频 ， 包 含 多 集 下 载 和 
见 频 页 载 、 编 辑 
视频 2: 77 可 下 载 、 编 辑 单 集 下 载 、 播 放 过 程 中 下 


载 、 移 动 网 络 下 下 载 提示 


热 词 跳 转 、 分 享 


跳 转 等 路 径 可 达 ， | FE 
次 Z 1 ` ZME «XM | ...... 
iW 可 以 设置 极 简 、 图 片 可 保存 下 载 分 享 、 评 论 
承载 体 无 图 阅读 模式 
可 以 同步 后 
G. im, W - - 
书签 / 快 链 链接 有 效 性 址 导航 内 站 点 dad pm 


步 内 容 


后 台 可 配置 、 


it FADE 


推荐 策略 和 变量 可 以 另外 附 表 提 测 ， 由 于 截图 比较 大 ， 此 处 不 全 部 罗列 。 例 如 手机 浏览 器 的 文件 模块 ， 因 为 文件 常见 的 路 径 是 下 载 和 编辑 ， 因 此 常用 破坏 测试 法 、 极 限 测 试 法 来 对 被 测 内 容 进行 检测 ， 
还 有 采用 竞争 对 手 测试 法 ， 检 查 对 文件 不 同 格式 的 支持 。 推 荐 的 策略 有 破坏 测试 法 、 极 限 测试 法 、 竞 争 对 手 测试 法 。 当 然 ， 不 同 的 测试 负责 人 推荐 的 策略 可 能 不 同 ， 这 些 推荐 策略 只 是 给 执行 的 测试 工程 师 
以 指导 ， 而 非 只 用 这 些 策略 。 对 于 变量 的 推荐 ， 可 以 考虑 网 络 环境 的 变更 会 影响 下 载 ， 机 型 的 大 小 可 能 会 影响 显示 等 。 因 此 推荐 的 变量 因子 为 : 网 络 、 机 型 系统 等 ， 具 体 的 每 个 不 同 模块 还 可 以 采用 更 多 的 


变量 ， 决 定 权 在 于 执行 的 测试 人 员 。 
2. 动 态 测试 测 程 过 程 活动 


测试 负责 人 制定 好 提 测 表 内 容 后 ， 即 完成 了 测试 策略 制定 。 动 态 测试 的 精髓 还 在 于 过 程 的 动态 。 例 如 ， 手 机 QQ 浏览 器 (iPhone) 有 一 个 功能 叫 空间 清理 功能 ， 如 图 9-7 (E) 所 示 ， 在 工具 栏 一 文件 
入 口 最 下 方 有 空间 清理 入 口 ， 点 击 进入 可 以 看 到 如 图 9-7 (6) 所 示 的 界面 ， 可 以 清理 大 文件 ， 整 理 图 片 。 现 在 就 以 测试 这 个 功能 为 例 说 明 动态 思考 的 过 程 。 


@ 79310xWNR —— eee RERE F 201 e 793 100: | 
M 空间 清理 


大 文件 清理 可 节省 11.6MB 》 


截图 清理 可 节省 110.1MB > 


相似 图 片 清理 
大 图 压缩 


室 间 清理 可 用 19.3GB/ 共 55.3GB 


图 9-7 空间 清理 入 口 


如 图 9-8 所 示 ， 切 入 点 是 文件 承载 体 的 细 化 承载 体 “ 空 间 清理 ”在 价值 点 “信息 获取 ”上 的 质量 标准 : 能 够 扫描 到 目标 文件 。 第 一 步 就 是 点 击 进入 空间 清理 界面 ， 观 察 结果 ， 显 示 大 小 为 0B， 根 据 这 个 
结果 思考 : 会 不 会 是 这 次 启动 或 者 过 程 操作 有 问题 ， 表 进入 一 次 会 怎样 ? 按照 图 示 的 过 程 反复 进行 “思考 一 执行 一 观察 一 思考 一 执行 ”的 循环 。 思 考 的 灵感 可 以 来 自 于 漫游 模型 或 者 场景 模型 的 策略 启发 ， 
执行 的 时 候 可 以 选择 不 同 的 变量 操作 。 


切入 点 : 能 够 扫描 到 目标 文件 


| 再 进入 一 


思考 : 重启 进入 都 为 0， 那 如 果 举 试 
ifi ER , BELA TCEH ! 


图 9-8 ”空间 清理 动态 测试 过 程 (一 ) 


动态 测试 持续 进行 中 如 图 9-9 所 示 。 这 里 关注 的 是 过 程 记录 ， 就 是 在 测试 过 程 中 可 能 产生 多 个 疑问 需要 确认 ， 也 可 能 需要 小 伙伴 协助 验证 ， 也 可 能 偏离 主 思路 有 很 多 想法 ， 发 现 一 些 测试 策略 制定 时 没 想 
到 的 内 容 或 者 风险 ， 这 些 都 可 以 记录 下 来 。 有 疑问 ， 需 要 确认 的 可 以 先 留言 给 开发 ， 需 要 小 伙伴 验证 的 可 以 于 到 群 里 ， 偏 离 主 思路 的 可 以 先 记录 ， 等 完成 主 思 路 验证 后 再 进行 ， 过 程 中 发 现 的 风险 也 可 以 给 
测试 负责 人 以 及 其 他 结对 测试 的 同学 以 参考 ， 给 项 目 组 最 终 的 报告 也 可 以 注 明 风 险 。 


过 程 记录 : 此 处 记录 15 分 钟 后 返回 检 
A 


思考 : 现在 能 确认 ， 每 次 重启 后 短 时 过 程 记 录 : 此 处 给 开发 rtx 留 言 确认 浏 
间 无 论 怎样 的 操作 都 无 法 显示 扫描 结 览 器 重启 操作 是 否 会 引起 对 文件 的 全 
果 是 浏览 器 进行 了 重新 扫描 工作 。 需 量 扫描 ? 是 bug 还 是 实现 困难 而 才 用 
PARA. 这 个 方式 。 

此 处 还 应 该 记录 : 重新 进入 浏览 器 ， 
继续 思考 : 可 以 确认 重启 后 用 户 直接 全 量 扫描 ， 不 合理 ， 应 该 用 增 量 校对 
进行 空间 清理 会 无 法 及 时 获取 文件 信 的 方式 ， 加 快 扫描 速度 
息 ， 那 么 是 否 给 用 户 以 文字 或 者 动画 
提示 呢 ? 


图 9-9 ”空间 清理 动态 测试 过 程 (二 ) 


测试 继续 ， 分 别 如 图 9-10 和 图 9-11 所 示 ， 在 图 9-11 中 涉及 了 支线 思路 ， 这 部 分 内 容 可 以 邀请 同事 一 起 来 结对 测试 ， 也 可 以 记录 下 来 等 后 期 有 时 间 再 测试 。 另 外 就 是 对 过 程 中 提出 来 的 问题 ， 要 有 所 思 
考 ， 对 疑问 点 的 可 能 回复 要 有 所 预期 ， 如 果 回复 是 某 种 预期 答案 ， 那 么 自己 的 进一步 问题 要 及 时 提出 来 。 当 然 ， 根 据 3BTM 模 型 ， 测 试 过程 这 个 时 间 窗 是 不 受 干扰 的 时 间 ， 所 以 这 些 疑 问 也 可 以 等 着 测 程 结 


束 一 起 提交 确认 。 


观察 结果 : 显示 无 文件 ， 没 有 扫描 动 
画 或 者 文字 提示 此 刻 浏览 器 正在 扫描 


ZAS ru E: AE 
: 如 果 长 时 间 都 无 法 
rau A 


观察 结果 : 等 待 5 分 钟 后 再 进入 浏览 
器 会 出 现 扫描 结果 ， 后续 每 隔 开 大 约 
不 到 1 分 钟 还 会 刷新 大 小 。 远 超出 用 
户 可 以 接受 的 预期 时 间 


图 9-10 ”空间 清理 动态 测试 过 程 (三 ) 


3. 动 态 测试 测 程 结束 回执 


在 动态 测试 内 容 结束 后 ， 要 汇总 集合 每 个 测试 人 员 的 测试 结果 ， 每 个 测试 人 员 的 提交 模板 可 以 参考 建筑 模型 里 的 提 测 回执 模板 。 表 9-15 所 示 的 是 某 次 集成 测试 回执 。 从 该 回执 表 中 可 以 很 明晰 地 看 出 各 
个 主题 测试 的 负责 人 、 机 型 系统 覆盖 度 、 发 现 缺陷 严重 比例 、 风 险 疑 问 以 及 对 策略 的 补充 。 


思考 1 : 会 不 会 是 我 这 人 台 手 机 系统 独 过 程 记 录 : 一 时 验证 不 完 的 ， 任 纸 上 
有 的 问题 ， 可 和 全 uic 写 出 来 ， 请 求 团队 协助 或 者 后 面 再 验 
有 关系 ? 证 。 


支线 1 : 更 换 手 机 ， 或 者 请 求 小 伙伴 
协助 ， 验 证 手机 存储 量 不 同 、 存 储 文 
件 大 小 不 同 、 手 机 系统 不 同 下 ， 扫 描 


速度 如 何 。 
思考 3 : 统计 慢 ， 那 么 显示 界面 会 不 


会 有 什么 问题 ? 各 种 模式 下 
RUE : 既然 扫描 这 么 悍 , 如 果 是 刚 
网 | 截 得 图 ， 或 者 刚刚 删除 的 大 文件 ， 支线 3 : 借助 变量 表 ， 不 断 变换 模式 
会 不 会 反应 个 过 来 呢 ? 来 验证 重 影 、 错 误 统计 的 问题 -— 
压缩 数据 的 统计 是 否 正 确 ， -— 
支线 2 : 验证 思考 2 的 假设 一 级 二 级 贝 面 显示 问题 。 


图 9-11 空间 清理 动态 测试 过 程 (vs) 
A935 ”集成 测试 回执 表 


what's more 
发 现 的 | 风险 疑问 质量 标准 中 
"EE 缺陷 数量 汗 程 由 思 老 的 辐 问 | 需要 调整 的 内 
集成 测试 提 测 表 负责 人 EPRORE g TERE 
测试 的 内 容 ) 增加 的 内 容 、 
严 | 一 策略 可 以 补充 
mi 的 内 容 
| 
an | mac p ew | [5 
搜索 mae | 683 | | 4 
有 两 个 风险 点 ， 都 曾 
经 提 过 Bug ; 1.【 每 日 头 
条 ] tag 和 频道 详情 界面 
T 测试 员 B 横 屏 显示 不 正确 2.[【 每 
本 轮 测 | URS jago | SE934 日 头条 ] tag 频 道 新 汪 
TA EB ea TE 加 / 微 信 热 文 添加 频道 ， 
盖 模 块 列表 中 显示 订阅 详情 的 
c pase 二 
"ww | [lI 


(5) 
what's more 


风险 疑问 质量 标准 中 
覆盖 机 型 (过 程 中 思考 的 疑问 、| 需要 调整 的 内 


系统 未 测试 到 的 内 容 、 无 法 | 容 、 变 量 需 要 
j 测试 的 内 容 ) 增加 的 内 容 、 
策略 可 以 补充 


的 内 容 


zh 
3l 
ja 


集成 测试 提 测 表 


文档 搜索 功能 点 击 
Crash， 后 续 搜 索 功 能 无 
法 测试 ; 

m4a it Ji X F QB 2C 
法 识别 


Ji SA PREL, S Ue DU TAX 


AERE 


6S7 -10.0.1 


^39 inm (语音 
ELE SU | 和 二 维 码 ) 
盖 模块 


6S+ -10.0.1 


1 ) 未 开局 uiwebview, 
Zt 5i F wh e F FU, 
然后 静 置 一 下 就 退 ， 太 
多 了 没 提 Bug. 


其 他 所 有 人 2) F JH uiwebview, 


出 Sl memory FF 3k 85 N 
退 ， 怀 疑 与 手 腾 网 有 关 
系 ， 没 提 Bug 


从 表 9-15 中 还 可 以 获取 数据 指导 今后 的 测试 调 优 。 
(1) 从 发 现 缺陷 数量 上 可 以 观察 哪些 测试 人 员 发 现 缺陷 的 数量 总 是 落后 于 平均 水 平 ， 哪 些 测试 人 员 擅 长 发 现 严重 缺陷 ， 可 以 进行 人 员 调 优 。 


(2) 表 中 没有 写 时 间 的 分 配 状况 ， 是 因为 集成 测试 的 时 间 相 对 集中 ， 都 是 在 制定 时 间 窗 中 进行 的 ， 如 果 是 迭代 测试 ， 可 能 干扰 会 比较 多 ， 如 果 从 回收 的 表 中 发 现 被 干扰 时 间 长 的 情况 ， 就 要 进行 时 间 调 
优 处 理 。 


(3) 可 以 从 风险 问题 中 确认 测试 环节 被 什么 干扰 或 者 被 什么 影响 到 ， 可 以 进行 测试 内 容 优 化 。 例 如 表 中 提 到 测试 频繁 换 包 会 影响 测试 。 这 可 以 与 项 目 组 进行 沟通 ， 如 果 无 法 避免 ， 有 什么 方法 能 最 大 限 
度 地 降低 换 包 带 来 的 负面 影响 。 


9.5.5 ”测试 闭环 


通过 之 前 的 介绍 可 以 了 解 到 标准 化 功能 测试 涉及 的 指导 纲领 内 容 : 基础 用 例 、 大 纲 级 别 的 承载 体 和 价值 点 、 细 化 承载 体 和 价值 点 、 变 量 因子 及 策略 。 这 些 内 容 都 是 指导 测试 的 ， 同 时 也 被 测试 反 向 推动 
和 补充 ， 这 就 是 要 说 的 测试 闭环 。 

在 实践 过 程 中 ， 需 求 的 改动 、 测 试 Bug、 使 用 便捷 性 、 用 户 反馈 、 代 码 影响 范围 都 会 动态 影响 着 指导 纲领 的 内 容 ， 即 做 出 这 些 纲领 本 质 是 为 了 规范 测试 活动 ， 但 实质 上 由 于 测试 闭环 ， 这 些 规范 也 始终 
处 于 不 断 调整 中 。 


9.6 ”收益 评 佑 
我 们 先 来 回顾 本 章 最 开始 提出 的 功能 测试 的 三 大 困惑 : 手工 测试 、 黑 盒 测 试 、 外 包 测 试 。 标 准 化 功能 测试 能 够 在 三 大 困惑 上 带 来 什么 改变 ， 下 面 我 们 逐一 来 分 析 。 


9.6.1 ”充分 利用 动态 思维 


手工 测试 目前 来 说 还 会 存在 相当 长 的 一 段 时 间 ， 尤 其 在 i0$ 测 试 上 。 在 此 基础 上 ， 如 何 有 效 利用 手工 测试 的 优势 ， 就 成 为 肥效 开展 手工 测试 的 必然 研究 课题 。 从 探索 式 测试 兴起 之 初 ， 人 们 就 先 偏离 预 设 
脚本 的 测试 能 够 发 现 更 多 的 问题 ， 这 种 偏离 预 设 脚 本 的 测试 是 基于 人 脑 的 即时 判断 和 丰富 的 经 验 联想 ， 我 们 将 其 称 为 动态 思维 。 这 种 动态 思维 是 短 时 间 内 人 工 智 能 所 无 法 追 及 的 ， 也 是 人 工 测试 独特 而 无 法 
取代 的 魅力 。 通 过 标准 化 测试 中 的 动态 测试 测 程 设计 ， 我 们 可 以 放大 这 种 动态 思维 的 优势 。 主 要 通过 三 个 方面 来 辅助 和 完善 测试 人 员 的 动态 思维 。 


1. 有 章法 
我 们 提供 了 承载 体 和 价值 点 对 应 的 质量 标准 ， 让 测试 不 会 漫 无 目的 。 这 点 在 传统 测试 中 也 会 有 所 涉及 ， 比 如 提供 一 些 风险 点 来 指导 自由 测试 。 在 标准 化 测试 中 并 不 是 一 种 创新 ， 而 是 将 这 个 质量 标准 的 


选 定 和 实施 做 了 标准 化 ， 使 后 加 入 项 目的 人 员 也 能 够 快速 理解 和 制定 质量 标准 ， 将 之 形成 一 种 规则 ， 而 不 是 可 选项 或 者 有 经 验 人 的 独 有 方法 。 


2. 有 提示 


在 大 家 都 了 解 测试 的 验证 目标 后 ， 为 了 辅助 测试 人 员 的 动态 思维 ， 我 们 提供 了 启发 式 列表 ， 例 如 变量 因子 和 策略 。 在 测试 人 员 思 考 过 程 中 ， 如 果 经 验 老 到 ， 根 据 测 试 现象 能 够 自发 的 联想 下 一 步 操作 ， 


可 以 不 必 参 考 我 们 的 提示 有 列表。 但是， 对 于 新 人 或 者 思路 中 断 的 测试 人 员 来 说 ， 变 量 因子 就 是 测试 线索 ， 策 略 就 是 组 合 线索 的 方式 ， 在 观察 到 一 种 测试 现象 后 ， 不 断 自我 提问 和 验证 结果 ， 使 思维 活动 进行 
下 去 。 


这 个 提示 就 像 登山 时 的 拐杖 一 样 ， 能 够 确保 测试 活动 的 流畅 。 另 外 一 方面 ， 以 前 经 常 出 现 问题 的 变量 因子 或 者 在 该 模块 中 经 常 发 现 问题 的 策略 ， 都 可 以 标记 为 高 风险 因子 并 做 特别 说 明 ， 测 试 人 员 一 定 
要 履 盖 到 这 些 因 子 ， 即 在 有 些 坑坑洼洼 的 地 方 登山 ， 拐 杖 必须 要 使 用 。 


3. 有 记录 


手工 测试 过 程 中 ， 当 遇 到 问题 或 思路 出 现 分 支 的 时 候 ， 都 需要 及 时 记录 下 来 。 我 们 可 以 对 测试 记录 的 要 求 要 做 定性 、 定 量 的 规定 ， 哪 些 内 容 要 记录 ， 哪 些 内 容 可 以 简化 。 做 记录 的 要 求 是 尽量 降低 记录 
的 成 本 ， 真 实 有 效 反 馈 过 程 问题 。 

本 质 上 上 述 三 方面 可 保持 人 工 测试 的 动态 思维 流畅 性 ， 并 利用 过 往 经 验 对 高 风险 问题 进行 重点 履 盖 。 这 三 方面 没有 特别 独特 的 创新 ， 只 是 在 现在 测试 已 经 有 的 一 些 思 考 上 进行 了 标准 化 定义 和 规 学 ， 使 
之 能 够 尽 可 能 地 辅助 测试 活动 ， 保 持 思 路 的 灵活 ， 降 低 学 习 和 使 用 成 本 ， 规 避 过 度 发 散 。 

针对 动态 思维 的 辅助 作用 ， 我 们 分 别 从 学 习 成 本 (了解 标准 化 测试 方案 的 目的 、 方 式 ) 、 启 发 式 信息 使 用 率 ( 含 质量 标准 、 变 量 、 策 略 ) 和 使 用 成 本 增加 (过 程 记录 耗 时 ) 对 手机 QQ 浏览 呈 
(iPhone) 测试 团队 成 员 进 行 采 访 ， 数 据 如 表 9-16 所 示 。 从 表 中 可 以 看 出 ， 关 于 学 习 成 本 实际 情况 要 超出 我 们 的 预期 ， 新 人 比 有 经 验 者 更 加 依赖 于 局 发 式 信息 ， 有 经 验 者 更 倾向 于 顺 着 自己 的 思路 进行 测 
试 ， 而 且 基本 不 会 增加 使 用 成 本 。 


表 9-16 ”采访 数据 


采访 数据 标准 化 方案 学 习 成 本 启发 式 信息 使 用 率 使 用 成 本 增加 


新 人 : 70% 
有 经 验 者 : 50% 


测试 管理 人 评估 1~2 小 时 gen 
AA: 8096 


ren [一 /二 S| r1 Liz zi Y 
实际 执行 测试 人 员 反 馈 1.5 小 时 有 经 验 者 . 40% 


9.6.2 ”建立 用 户 角 度 测 试 模型 


黑 盒 测试 的 困惑 在 于 不 知道 软件 内 部 结构 ， 是 一 种 盲目 的 “ 触 探 ”。 很 多 人 都 知道 黑 盒 测试 的 浆 端 ， 却 很 少 有 人 想到 黑 盒 测试 的 好 处 。 放 大 黑 盒 测试 的 好 处 ， 就 可 以 有 效 扬长 避 短 。 黑 盒 测试 的 好 处 在 
于 测试 成 本 低 ， 只 要 会 用 户 操作 就 可 以 进行 ， 由 于 不 了 解 内 部 结构 ， 就 不 会 受到 内 部 设计 的 思路 限制 ， 完 全 从 用 户 角 度 出 发 进行 “扫雷 ”。 


标准 化 测试 方案 的 承载 体 和 价值 点 就 是 从 用 户 角度 进行 选取 的 ， 建 立 的 是 一 种 基于 用 户 视 角 的 测试 模型 ， 这 种 测试 模型 脱离 了 最 初 的 需求 设计 说 明 思 路 束缚 ， 也 没有 再 去 细 究 代码 实现 函数 是 否 规范 
而 是 真 的 跳出 了 研发 团队 ， 从 用 户 的 角度 重新 审视 产品 能 够 用 户 带 来 的 功能 ， 抽 象 定 义 了 几 种 大 类 价值 点 。 然 后 再 从 被 测 软件 的 各 个 模块 在 这 几 大 类 的 价值 点 上 实现 做 一 个 质量 标准 的 定义 。 这 些 质 量 标准 


就 像 是 航行 中 的 灯塔 ， 指 明了 测试 人 员 在 探索 式 测试 活动 中 所 应 该 持 有 的 质量 原则 。 


从 实践 数据 来 看 ， 在 用 户 视角 的 测试 模型 指导 进行 测试 能 够 发 现 更 多 的 问题 。 传 统 的 测试 在 用 例 之 外 展开 的 自由 测试 ， 很 大 程度 上 会 受到 用 例 的 束缚 ， 往 往 自 由 测试 中 还 会 在 一 个 圈子 里 无 法 走出 ， 发 
现 问题 就 不 会 很 多 。 另 一 方面 ， 通 过 用 户 角度 的 测试 模型 的 建立 ， 还 能 够 帮助 测试 人 员 快 速 制定 测试 方案 ， 基 于 已 有 的 质量 模型 和 变量 策略 ， 能 够 快速 圈定 测试 重点 和 风险 点 。 从 表 9-17 的 对 比 数 据 来 看 ， 
采用 标准 化 的 用 户 模型 可 以 在 缺陷 挖掘 效率 、 测 试 设计 耗 时 (I 临 时 变更 需求 和 大 规模 功能 测试 前 的 测试 方案 设计 ) 方面 有 明显 提升 。 


表 9-17 ”是否 采用 用 户 模型 对 比 数据 
对 比 数据 平均 发 现 缺 陷 数 量 / 人 天 测试 方案 设计 平均 耗 时 / 分钟 
没有 采用 用 户 模 型 6 一 8 20 一 45 
采用 用 户 模 型 7—11 10—25 


9.6.3 ”测试 过 程 及 管理 优化 

外 包 模 式 的 困惑 在 于 对 异地 工作 或 者 多 人 合作 测试 模式 下 的 过 程控 制 和 管理 。 这 个 困惑 的 最 佳 解决 方式 就 是 有 过 程 记录 。 这 个 过 程 记 录 的 优 务 又 会 直接 影响 测试 效率 和 质量 。 标 准 化 测试 方案 中 对 测试 
过 程 的 记录 有 硬性 要 求 ， 成 为 必 选 项 ， 并 且 对 具体 记录 的 形式 和 内 容 有 明确 的 要 求 ， 能 够 帮助 测试 人 员 做 好 过 程 管理 和 优化 ， 更 多 地 暴露 过 程 中 的 风险 ， 为 优化 效果 提供 数据 支撑 。 

过 程 记录 根据 载体 的 不 同 有 三 种 主要 形式 : 代码 覆盖 率 记 录 、 纸 质 记 录 和 电子 回执 记录 。 

1. 代 码 履 盖 率 记录 


代码 覆盖 率 记 录 也 就 是 对 代码 进行 插 桩 ， 在 测试 人 员 执 行 的 过 程 中 记录 下 禾 盖 的 行 、 遂 数 、 文 件 ， 可 以 对 未 覆盖 的 模块 进行 分 析 。 通 过 对 每 次 测试 的 质量 标注 、 变 量 因子 及 策略 的 不 断 调整 来 提高 覆盖 
， 为 项 目 质量 的 测试 覆盖 度 提供 数据 。 


w 


目前 业界 已 研发 出 来 能 够 记录 测试 操作 的 SDK， 可 以 记录 测试 人 员 在 执行 过 程 中 的 时 间 分 配 、 操 作 步 骤 等 信息 ， 通 过 这 种 过 程 记 录 还 可 以 对 测试 人 员 的 高 效 工作 时 间 点 进行 评估 ， 对 部 分 消极 念 工人 员 
进行 警告 ， 也 可 以 将 工作 的 难点 任务 安排 在 合理 的 时 间 和 人 员 中 进行 。 


代码 覆盖 方面 的 测试 记录 在 本 章 的 标准 化 测试 实践 案例 中 没有 进行 讲解 ， 原 因 在 于 手机 QQ 浏览 器 (iPhone) 项 目 上 含有 代码 覆盖 率 记 录 的 版 本 稳定 性 不 佳 ， 因 此 实践 中 没有 采用 这 种 方式 ， 暂 无 数 
据 ， 但 是 可 以 给 已 经 有 完善 代码 覆盖 率 记 录 的 项 目 团队 推荐 使 用 。 


2. 纸 质 记 录 


相 比 代码 覆盖 的 记录 ， 纸 质 记录 有 点 “下 里 巴 人 ”的 感觉 ， 但 是 最 通俗 的 往往 也 是 非常 有 效 的 方式 。 纸 质 记录 通常 用 于 测试 过 程 中 对 灵感 的 记录 、 疑 问 的 记录 、 示 覆盖 的 风险 记录 。 由 于 只 需要 一 支 笔 
和 一 张 纸 ， 因 此 可 以 随时 随地 进行 。 例 如 ， 测 试 过 程 中 突然 被 人 打 断 去 进行 分 支 任务 ， 就 可 以 暂时 记录 当前 进度 ， 支 线 任务 结束 后 回来 继续 。 又 或 者 发 现 了 问题 ， 要 提交 Bug 到 系统 上 所 述 ， 也 可 以 暂时 只 
是 在 纸 上 记 录 下 重要 信息 ， 最 后 多 个 Bug 一 起 集中 提交 。 一 般 来 说 ， 电 子 版 记录 会 在 所 做 测试 结束 后 择 取 重 要 信息 ， 统 一 进行 电子 记录 。 


3. 电 子 回 执 记 录 


电子 回执 的 形式 可 参考 本 章 的 测试 回执 模板 表格 ， 这 部 分 内 容 是 给 测试 负责 人 甚至 项 目 组 的 一 个 来 自 测试 一 线 的 直观 数据 。 从 回执 表 中 可 以 获知 测试 人 员 提 交 缺 陷 的 数量 和 分 类 、 在 各 个 模块 的 耗 时 、 
被 打扰 的 时 间 、 过 程 中 未 覆盖 的 模块 、 对 质量 标准 和 测试 策略 的 建议 等 信息 。 通 过 这 些 数 据 ， 可 以 有 针对 性 地 改善 问题 。 例 如 ， 当 被 打扰 的 时 间 占 比 过 多 时 ， 就 要 考虑 是 否 是 哪个 环节 出 了 问题 ， 是 否 需 
对 项 目 组 进行 沟通 ， 未 履 盖 的 模块 是 由 于 存在 环境 配置 问题 还 是 由 于 时 间 不 足 引 起 的 ， 哪 些 测 试 人 员 效 率 高 或 者 低 等 。 通 过 过 程 记录 的 获取 来 优化 内 容 和 评 佑 指数 。 


表 9-17 是 采用 标准 化 测试 方案 后 的 测试 过 程 记 录 的 效果 对 比 ， 可 以 看 出 没有 采用 良好 的 过 程 记 录 ， 测 试 人 员 暴 露出 的 风险 和 建议 都 是 很 少 的 ， 被 采纳 的 建议 和 被 评估 的 风险 就 更 少 了 。 直 接 导致 了 测试 
负责 人 或 者 项 目 组 对 测试 活动 的 管理 和 优化 缺乏 有 效 数 据 和 材料 。 外 包 测 试 模式 下 ， 通 过 采用 科学 的 测试 记录 指标 和 记录 方式 ， 能 够 有 效 提 升 过 程 反馈 率 ， 无 论 是 对 测试 质量 的 提升 、 测 试 活动 调 优 ， 还 是 
对 风险 的 暴露 都 有 好 处 。 


表 9-18 测试 记录 对 比 数 据 


— 提出 风险 和 建议 记录 被 采纳 的 建议 被 评估 的 风险 
(条 /版 本 ) (条 /版 本 ) (条 /版 本 ) 


通过 良好 的 过 程 记 录 ， 能 够 将 外 包 测 试 模式 的 弊端 进行 规避 和 解决 ， 降 低 沟通 成 本 ， 将 整个 测试 过 程 变 得 更 加 可 控 。 


97 小结 


本 章 主要 分 三 步 寻 找 测 试 “ 标 准 ”， 即 定制 “标准 ”、 实 践 “ 标 准 ” 与 评估 “标准 ”。 我 们 通过 对 业界 先进 理论 的 学 习 和 研究 ， 制 定 出 了 一 套 适 合 自己 项 目的 标准 化 测试 方案 ， 并 落实 到 实践 中 ， 提 出 
了 几 个 维度 的 收益 评估 。 将 可 以 采用 “检查 ”方案 的 测试 部 分 予以 尊重 ， 还 是 建议 采用 用 例 执行 的 方式 ， 或 者 自动 化 测试 方案 进行 ， 而 将 需要 “测试 ”思考 或 者 探索 的 测试 内 容 进行 有 效 组 织 和 引导 ， 制 定 
各 种 方案 来 提升 效率 ， 降 低 成 本 ， 保 持 测试 灵活 性 的 同时 做 到 可 以 保值 复制 和 传承 ， 这 就 是 我 们 的 标准 化 测试 。 


第 10 章 ”缺陷 分 析 
10.1 引言 


作为 测试 工程 师 ， 最 常 接触 的 就 是 各 种 缺陷 。 如 何 将 缺陷 变 废 为 室 ， 会 对 今后 的 测试 工作 产生 指导 价值 ， 这 是 做 缺陷 分 析 的 终极 价值 。 本 章 尝试 给 大 家 分 享 一 种 缺陷 分 析 的 思路 ， 如 果 读 者 通过 本 章 如 
能 产生 共鸣 或 者 火花 ， 那 也 算是 完成 传播 思想 这 件 事 了 。 


言 归 正 传 ， 缺 陷 分 析 如 果 按 照 现 实 工作 的 模式 ， 大 致 分 为 两 个 过 程 : 缺陷 定位 和 缺陷 报告 。 这 两 个 过 程 可 以 具体 化 表示 ， 缺 陷 定位 是 一 种 从 表现 到 内 在 原因 的 查找 过 程 ， 类 似 几何 证 明 题 里 的 分 析 过 
程 ， 由 最 后 的 结果 逆向 求证 需要 的 条 件 ; 缺陷 报告 就 是 根据 那些 分 析 再 从 正 向 梳理 整个 问题 发 生 的 过 程 并 总 结 收益 ， 类 似 几何 证 明 题 里 最 后 的 证 明 步 又， 呈现 出 来 的 是 从 触发 条 件 到 最 后 结果 的 正 向 演进 。 
针对 这 两 个 过 程 ， 下 面 以 QQ 浏览 器 (iPhone) 项 目 案例 跟 大 家 分 享 思路 。 


第 10 章 ”缺陷 分 析 
10.1 引言 


作为 测试 工程 师 ， 最 常 接触 的 就 是 各 种 缺陷 。 如 何 将 缺陷 变 废 为 宝 ， 会 对 今后 的 测试 工作 产生 指导 价值 ， 这 是 做 缺陷 分 析 的 终极 价值 。 本 章 尝 试 给 大 家 分 享 一 种 缺陷 分 析 的 思路 ， 如 果 读 者 通过 本 章 如 
能 产生 共鸣 或 者 火花 ， 那 也 算是 完成 传播 思想 这 件 事 了 。 


言 归 正 传 ， 缺 陷 分 析 如 果 按 照 现 实 工作 的 模式 ， 大 致 分 为 两 个 过 程 : 缺陷 定位 和 缺陷 报告 。 这 两 个 过 程 可 以 具体 化 表示 ， 缺 陷 定位 是 一 种 从 表现 到 内 在 原因 的 查找 过 程 ， 类 似 几何 证 明 题 里 的 分 析 过 
程 ， 由 最 后 的 结果 逆向 求证 需要 的 条 件 ; 缺陷 报告 就 是 根据 那些 分 析 再 从 正 向 梳理 整个 问题 发 生 的 过 程 并 总 结 收益 ， 类 似 几何 证 明 题 里 最 后 的 证 明 步 又， 呈现 出 来 的 是 从 触发 条 件 到 最 后 结果 的 正 向 演进 。 
针对 这 两 个 过 程 ， 下 面 以 QQ 浏览 器 (iPhone) 项 目 案例 跟 大 家 分 享 思路 。 


10.2 ”缺陷 理论 基础 


10.2.1 ”缺陷 的 定义 
缺陷 ， 也 称 Bug， 是 软件 或 程序 中 存在 的 某 种 破坏 正常 运行 能 力 的 问题 、 错 误 ， 或 者 隐藏 的 功能 缺陷 。 从 测试 角度 来 看 ， 凡 是 与 需求 交互 不 一 致 的 都 可 以 看 成 是 缺陷 。 
10.2.2 ”缺陷 的 属性 


缺陷 标识 即 Bug ID， 每 个 缺陷 都 有 唯一 的 Bug 1D， 便 于 检索 和 识别 这 个 Bug。 
缺陷 严重 程度 是 指 因 缺 陷 引 起 的 故障 对 产品 的 影响 程度 ， 如 表 10-1 所 示 。 


表 10-1 缺陷 严重 程度 定义 


Bug 级 别 注 E 
| i UEBER. RB. 
致命 系统 不 可 用 . HH EUTANM. ArBHI 


| 核心 功能 错误 
严重 主要 功能 没有 完全 实现 操作 无 效 或 操作 结果 存在 错误 


操作 界面 错误 ; 
M MA BE 3E H 是 名 ` S H J oH 11 A A 
人 |。 无法 请 是 异常 操作 和 数据 的 处 理 响应 ; 


附件 模块 的 功能 缺陷 
提示 不 影响 操作 的 小 问题 页 面 有 和 错别字， 排版 混乱 


辅助 次 明 描述 不 清晰 ; 
建议 体验 类 问题 未 给 用 户 操作 提示 
SEHE PEE X 


缺陷 优先 级 是 指 缺陷 被 修复 的 紧急 程度 ， 如 表 10-2 所 示 。 


Bug 优先 级 定 义 
局 缺陷 必须 立即 解决 
中 缺陷 需要 正常 排队 在 应 当 被 修复 时 修复 
低 缺陷 可 以 在 方便 时 被 纠正 
缺陷 根源 表示 是 什么 原因 导致 的 ， 包 括 需求 问题 、 架 构 问 题 、 设 计 问题 、 编 码 问题 和 集成 问题 等 。 
除 此 之 外 ， 缺 陷 还 包括 缺陷 的 状态 、 发 现 基线 、 发 现 阶段 、 重 现 规律 、 处 理 人 、 引 入 阶段 和 关闭 基线 等 属性 ， 这 些 属性 都 需要 在 新 建 Bug、 解 决 Bug 或 关闭 Bug 时 填写 ， 便 于 对 缺陷 进行 分 析 和 整理 。 
10.2.3 ”缺陷 的 修复 成 本 


从 图 10-1 中 可 以 看 出 ， 随 着 软件 开发 的 进行 ， 从 需求 规格 一 设计 一 编码 一 测试 一 上 线 ， 修 复 Bug 的 成 本 不 断 增加 ， 越 到 后 期 阶段 ， 修 复 某 一 Bug 对 周边 功能 的 影响 也 可 能 越 大 。 所 以 尽早 暴露 缺陷 可 以 
有 效 节 约 项 目 经 费 ， 减 小 项 目 风险 ， 缩 短 项 目 周期 。 


需求 规格 


图 10-1 缺陷 修复 成 本 
实际 上 ， 并 不 是 所 有 的 缺陷 都 要 在 上 线 前 进行 修复 ， 只 要 满足 以 下 条 件 的 缺陷 我 们 就 可 以 认为 是 能 够 容忍 的 。 
(1) 时 间 不 够 充裕 。 
(2) 不 算 真 正 的 软件 缺陷 ， 对 用 户 正常 使 用 影响 不 大 。 


(3) 修复 的 风险 太 大 。 
对 于 同时 满足 这 三 个 条 件 的 缺陷 ， 我 们 可 以 允许 其 遗留 到 后 续 版 本 解决 ， 即 现在 很 多 产品 提倡 的 有 损 发 布 ， 也 是 出 于 对 项 目 成 本 和 风险 控制 的 考虑 而 选取 的 折 中 办 法 。 


10.3 ”缺陷 定位 (逆向 分 析 ) 


几何 证 明 题 中 ， 要 求证 明 一 个 结果 ， 例 如 A = B， 就 要 根据 A = B 这 个 结果 去 寻找 成 立 的 条 件 ， 一 步 步 地 往 上 推导 ， 直 到 找到 已 知 的 对 应 条 件 。 这 个 过 程 就 是 一 个 逆向 求证 的 过 程 。 在 缺陷 分 析 中 也 要 借鉴 
这 种 思路 ， 根 据 缺 陷 现象 (来 自 测 试 发 现 或 者 用 户 反 馈 ) 分 析 产 生 缺 陷 的 可 能 原因 ， 从 直接 原因 到 间接 原因 再 到 根 因 ， 逐 步 推演 到 实际 的 代码 层面 上 。 

在 这 个 逆向 求证 过 程 中 ， 笔 者 推荐 使 用 中 医 的 望 闻 问 切 的 四 诊 法 。《 难 经 》 有 日 : “ 望 而 知 之 者 ， 望 见 其 五 色 ， 以 知 其 病 。 闻 而 知之 者 ， 闻 其 五 音 ， 以 别 其 病 。 问 而 知之 者 ， 问 其 所 欲 五 味 ， 以 知 其 病 
所 起 所 在 也 。 切 脉 而 知之 者 ， 诊 其 寸 口 ， 视 其 虚实 ， 以 知 其 病 ， 病 在 何 脏腑 也 。” 换 成 测试 语言 来 说 ， 就 是 要 通过 “ 望 ”这 种 观察 方式 查看 现象 ， 确 定 是 否 是 Bug; 通过 “ 闻 ” 这 种 体验 观察 缺陷 的 特征 ， 
为 后 面 的 判断 做 辅助 依据 ; 通过“ 问 ”这 种 验证 方式 判断 缺陷 可 能 产生 的 直接 原因 和 引入 时 间 ; 通过 “ 切 ” 这 种 方式 定位 缺陷 产生 的 根本 原因 ， 整 体 思路 如 图 10-2 所 示 。 
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缺陷 定位 
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图 10-2 ”缺陷 定位 图 


10.3.1 Æ 


QQ 浏览 器 6.5 版 本 Appstore 发 布 后 ， 发 现 日 活 数 据 突然 少 了 30 万 ， 持 续 多 日 。 这 就 可 以 判断 是 “有 问题 ”了 ， 因 为 观察 到 日 活 的 减少 与 新 版 本 发 布 有 关 ， 且 是 突然 下 降 几 十 万 ， 这 与 以 往 某 天 突然 日 活 
数据 下 降 不 同 ， 可 以 排除 线 上 运营 活动 或 者 其 他 非 版 本 问题 ， 产 生 的 异常 与 新 发 布 的 版 本 质量 有 关 ， 是 一 个 可 以 进行 分 析 的 版 本 质量 缺陷 。 


在 “ 望 ”这 个 环节 上 ， 我 们 得 到 了 抽象 的 信息 : 6.5 版 本 用 户 日 活 减少 了 30 万 个 。 


10.3.2 邮 


知道 了 病症 的 表现 ， 还 得 通过 闻 的 方式 来 观察 这 个 症状 。 医 学 上 是 听 五 音 ， 闻 味道 。 在 IT 行业 里 就 是 要 在 每 个 可 能 的 维度 里 去 观察 异常 ， 如 果 各 个 维度 都 正常 ， 那 还 得 扩展 维度 。 如 果 某 个 维度 (例如 
某 种 机 型 、 系 统 、 版 本 等 ) 存在 问题 ， 就 可 以 获得 有 价值 的 线索 。 


“ 闻 ” 的 成 本 与 被 观察 的 缺陷 类 型 有 关 。 在 掉 粉 30 万 个 案例 中 ， 由 于 现象 比较 抽象 ， 原 因 可 能 很 多 ， 逐 一 检测 ， 耗 时 较 长 ， 到 最 后 找到 异常 的 特征 ， 前 后 伦 了 将 近 三 天 的 排查 时 间 。 发 现 iOs 7 系统 的 用 
户 在 发 布 了 新 版 本 后 ， 日 活 从 之 前 的 30 多 万 人 降 至 100 人 以 内 。 


在 闻 这 个 环节 上 ， 我 们 获取 了 进一步 的 信息 ，iOS 7 系统 的 用 户 在 6.5 版 本 发 布 后 出 现 了 问题 。 


10.3.3 ju] 
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维度 ， 那 么 “ 问 ” 这 个 维度 更 多 的 考验 测试 人 员 自 身 的 功力 。“ 问 ”的 主要 目的 是 确认 缺陷 所 在 区 域 、 缺 陷 产 生 的 历史 时 期 、 缺 陷 的 影响 范围 。 通 过 测试 人 员 与 缺陷 的 亲自 交互 ， 为 项 目 组 提供 专业 的 缺陷 


定位 分 析 。 


在 上 文中 ，iOS 7 系统 用 户 日 活 上 报 陡 降 ， 可 能 有 两 个 原因 : 一 是 \OS 7 系统 的 用 户 装 不 上 新 版 本 或 者 无 法 正常 启动 ;二 是 iOS 7 系统 用 户 能 够 正常 使 用 ， 只 是 上 报信 息 出 现 问题 。 这 需要 测试 人 员 来 验 
证 ， 首 先 在 上 线 前 测试 时 验证 过 iOS 7 系统 的 安装 与 启动 ; 其 次 从 AppSstore 渠 道 下 载 最 新 版 ， 在 iOS 7 各 个 子 系统 和 机 型 上 尝试 ， 都 不 会 出 现 无 法 启动 的 问题 ， 原 因 一 排除 。 通 过 连接 灯塔 系统 ， 发 现 iOS 7 
系统 在 所 有 的 上 报信 息 都 无 法 查找 到 。 判 断 原 因 二 有 很 大 的 嫌疑 。 进 一 步 确 认 是 终端 版 本 没有 上 报 ， 还 是 灯塔 系统 出 现 故障 。 通 过 抓 包 确认 ， 终 端 确实 没有 上 报信 息 到 后 台 ， 因 此 判断 为 版 本 质量 问题 。 这 
便 确 定 了 缺陷 所 在 的 区 域 是 终端 版 本 。 


接 下 来 判断 缺陷 产生 的 历史 时 期 ，6.5 版 本 存在 这 个 问题 ， 那 么 要 确认 6.4 版 本 和 即将 发 布 的 6.6 版 本 有 没有 同样 的 问题 ， 经 过 同样 的 验证 方法 发 现 ，6.4 版 本 和 6.6 版 本 都 没有 此 问题 ， 缺 陷 就 发 生 在 6.5 版 


最 后 还 需要 判断 下 缺陷 的 影响 范围 。 在 6.5 版 本 引入 缺陷 后 、 没 有 被 发 现 之 前 ， 开 发 是 不 会 修复 的 ，6.6 版 本 也 应 该 存在 此 问题 。 可 是 这 里 要 存疑 ， 为 何 6.6 版 本 “自动 ”修复 了 缺陷 ? 


在 经 过 “ 问 ” 这 个 环节 后 ， 我 们 获取 到 了 更 进一步 的 信息 。 缺 陷 只 存在 于 iOSs 7 系统 上 的 6.5 版 本 ， 终 端 不 能 够 上 报 数据 ， 灯 塔 系统 正常 。 提 出 可 疑点 ，6.6 版 本 何 时 自动 修复 了 缺陷 。 


10.3.4 切 


当 测 试 人 员 把 问 这 个 环节 获取 的 信息 提交 给 项 目 组 后 ， 就 需要 项 目 组 进行 CodeReview ， 以 查找 所 有 涉及 iOS 7 网 络 上 报 的 修改 代码 。 开 发 人 员 根 据 提供 的 信息 找到 可 疑 代 码 ， 如 图 10-3 所 示 。 
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【更 改 说 阴 ] fix Bug: 【小 说 】i1097 的 系统 ， 小 说 发 现 页 面 刷新 后 显示 空白 ID: 51954916 
【影响 范围 ] 小 说 书架 
【代码 评审 】 rexzhu、jeson 


v Changes ( 


Modified: (1) 


ME ProxyURLProtocol.m - /QQBrowser iPhone proj/trunk/src/MttBrowser iPhone Release1.0/mtt/src/Business/Function/SpdyProxy 


图 10-3 可疑 代 码 
进一步 展开 分 析 ， 发 现在 修改 小 说 网 络 层 缓存 时 影响 到 了 iOS 7 系统 的 网 络 上 报 。 


别 忘 了 还 有 一 个 疑问 点 ， 为 何 6.6 版 本 自动 修复 了 缺陷 ”再 “ 切 脉 ”发 现 有 一 位 开发 人 员 当时 进行 CR 时 觉得 图 10-3 的 代码 写 得 不 够 好 ， 可 能 存在 隐患 ， 就 给 重 构 了 ， 也 就 避免 了 iOS 7 系统 上 报 出 现 问 
题 ， 但 是 这 位 开发 人 员 自 身 也 不 清楚 之 前 还 存在 这 个 问题 ， 所 以 缺陷 就 在 悄 无 声息 中 解决 了 。 


到 了 切 这 个 环节 ， 我 们 已 经 基本 定位 出 了 缺陷 产生 的 根本 原因 。 新 手 开 发 人 员 在 修改 小 说 的 问题 时 ， 影 响 到 了 iOSs 7 系统 的 网 络 上 报 ， 导 致 了 iOs 7 系统 用 户 在 安装 6.5 版 本 后 无 法 上 报信 息 到 灯塔 ， 从 而 
导致 日 活 数据 陡 降 30 万 。 解 决 方法 只 能 靠 快速 发 布 patch 版 本 来 进行 修复 。 


纵 观 整个 望 闻 问 切 的 过 程 ， 就 是 从 现象 逆向 追踪 到 本 质 的 一 个 定位 ， 也 是 一 般 Bug 分 析 的 必 经 过 程 。 很 多 时 候 我 们 写 出 来 的 报告 像 是 事后 诸葛 亮 的 感觉 ， 就 是 仿佛 已 经 知道 了 原因 ， 再 来 分 析 影 响 。 但 
是 还 原 缺陷 分 析 的 真实 过 程 对 我 们 再 进行 分 析 能 够 起 到 很 好 的 梳理 作用 ， 明 白 自己 所 处 的 阶段 。 


10.4 缺陷 报告 〈 正 同 演 进 ) 
对 项 目 组 开发 人 员 来 说 ， 从 缺陷 能 够 逆向 追踪 到 产生 的 代码 原因 ， 基 本 上 工作 就 结束 了 。 但 是 测试 人 员 在 这 个 过 程 中 还 可 以 挖掘 更 多 有 价值 的 点 。 这 也 是 要 写 缺 陷 报告 的 原因 ， 通 过 上 一 章 的 逆向 追 
足 ， 我 们 已 经 知道 缺陷 相关 的 情况 ， 如 何 变 废 为 宝 ， 将 缺陷 的 价值 挖掘 到 最 大 ， 并 指导 今后 的 测试 就 看 这 个 正 向 演进 的 过 程 。 


如 何 呈 现 一 份 好 的 缺陷 分 析 报 告 ， 也 是 考验 功力 的 时 候 。 本 章 建立 一 个 缺陷 分 析 模 型 ， 如 图 10-6 所 示 。 既 要 聚焦 于 当前 的 问题 ， 又 要 有 宏观 分 析 的 视角 。 从 现象 到 思考 逐 层 深入 分 析 ， 每 一 层 又 对 应 着 
宏观 的 分 析 。 通 过 该 模型 的 方式 演进 缺陷 分 析 ， 能 够 将 问题 剖析 得 相对 清晰 ， 对 今后 的 测试 也 有 借鉴 意义 。 


图 10-4 所 示 的 模型 主要 是 说 明 缺 陷 报告 要 分 为 四 层 ， 分 别 是 缺陷 现象 、 复 现 路 径 、 缺 陷 原 理 、 缺 陷 思 考 ， 这 四 层 是 我 们 做 一 份 完整 缺陷 报告 必 不 可 少 的， 也 是 一 种 层 层 递 进 的 逻辑 关系 。 图 10-4 右 侧 是 
宏观 方面 的 对 应 ， 就 是 除了 要 分 析 Bug， 还 要 跳出 当前 的 Bug， 思 考 广角 要 大 ， 宏 观 的 四 层 也 是 一 种 递 进 的 关系。 


宏观 分 析 


< 二- 
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图 10-4 ”缺陷 的 宏 微 观 


10.4.1 ”缺陷 现象 一 一 缺陷 影响 


首先 要 描述 缺陷 发 生 时 的 现象 。 从 宏观 的 角度 来 看 ， 还 要 列 出 缺陷 产生 的 影响 ， 如 表 10-3 所 示 。 


表 10-3 缺陷 产生 的 影响 


影响 维度 影响 程度 
必 现 程度 必然 出 现 ， 大 概率 出 现 ， 很 难 出 现 
机 型 系统 全 系统 都 出 现 ， 新 系统 出 现 (例如 1O0S 9 )， 少 数 低 端 系统 出 现 (例如 i1O0S 6)， 常 用 系统 出 


现 (例如 10S 7、iOS 8) 
路 径 易 触发 性 较 少 使 用 ， 频 繁 触发 


严重 程度 内 退 ， 重 局 或 者 重 试 可 恢复 的 Bug， 一 直 不 消失 的 Bug 
修复 成 本 通过 后 台 发 布 更 新 来 修复 ,或 者 发 布 patch 版 本 来 修复 


缺陷 现象 : 6.5 版 本 的 iOS 7 系统 用 户 无 法 上 报 使 用 数据 。 
缺陷 影响 : 如 表 10-4 所 示 。 


表 10-4 某 个 缺陷 的 影响 程度 


影响 维度 影响 程度 


必 现 程度 必然 出 现 

机 型 系统 iOS 7 

路 径 易 触发 性 必然 触发 

严重 程度 不 影响 用 户 使 用 ， 只 影响 统计 
修复 成 本 发 布 patch 版 本 来 修复 


这 一 层面 的 描述 要 求 如 下 。 
缺陷 原理 的 描述 要 求 : 有 图 有 真相 ， 闪 退 附 日 志 (如 果 有 图 ， 最 好 附 上 ， 便 于 读者 能 够 清晰 认识 到 缺陷 的 现象 ， 如 果 是 内 退 ， 还 需要 附 上 日 志 ) 。 


缺陷 影响 的 描述 要 求 : 机 型 必 现 度 ， 修 复 影响 度 (主要 是 指 表格 中 的 项 都 要 有 完整 说 明 ， 对 于 了 解 缺陷 在 宏观 层面 上 的 影响 有 所 帮助 ) 。 


10.4. ” 复 现 路 径 一 一 测试 思想 
接 下 来 要 描述 复 现 Bug 的 路 径 ， 每 个 复 现 路 径 都 蕴含 着 一 定 的 测试 思想 。 这 里 为 了 抽象 ， 可 以 引用 探索 式 测试 全 局 测试 策略 中 的 一 些 方法 ， 如 图 10-5 所 示 。 实 际 情况 可 能 是 几 种 测试 思路 的 组 合 。 


对 应 本 案例 的 记录 如 下 。 


图 10-5 测试 思想 


复 现 路 径 : 在 iOS 7 系统 手机 上 安装 6.5 版 本 (全 新 或 者 升级 安装 ) ， 启 动 浏览 器 ， 无 上 报信 息 。 

测试 思想 : 指南 针 测 试 法 (按照 需求 进行 验收 ，iOS 7 系统 用 户 上 报 是 必 备 的 ) 。 

这 一 层面 的 描述 要 求 如 下 。 

复 现 路 径 的 描述 要 求 : 言 简 意 要 明 ， 完 整 路 径 全 (语言 简洁 明了 ， 不 能 大 篇 叙述 ， 必 要 时 可 以 考虑 用 流程 图 等 来 展示 ;其 次 路 径 需 要 描述 完整 ， 如 果 存 在 多 个 复 现 路 径 或 者 对 应 多 种 现象 ， 都 需要 注 
明 ， 不 要 遗漏 ) 。 


测试 思想 的 描述 要 求 : 路 径 含 思想 ， 关 联 知识 库 (这 是 指 复 现 Bug 的 操作 应 该 列 含 一 定 的 测试 思想 ， 用 可 理解 的 简要 词汇 表示 ， 可 以 记录 到 Bug 的 知识 库 里 ， 也 可 以 从 Bug 知 识 库 里 寻找 历史 相关 的 
Bug， 重 新 整合 思考 ) 。 


10.4.3 ”缺陷 原理 一 一 代码 关注 


在 微观 上 了 解 了 缺陷 现象 和 复 现 路 径 ， 还 需要 深入 说 明 缺 陷 原理 。 缺 陷 原理 一 般 落 实 到 代码 层 ， 有 时 候 考 虑 到 成 本 问题 可 以 只 到 逻辑 层 。 可 以 采用 5W 法 (5 个 Why 并 不 是 指 只 有 5 个 ， 而 是 泛 指 一 定数 
量 的 Why， 可 参考 下 面 的 实例 ) 提问 逐 层 分 析 问 题 产生 的 原因 。5W 涉 及 的 问题 可 以 在 逆向 求证 的 时 候 思 考 ， 也 可 以 就 测试 人 员 为 何 漏 测 或 者 开发 人 员 为 何 写 出 缺陷 代码 进行 提问 。 


定位 缺陷 发 生 后 ， 开 发 人 员 和 测试 人 员 都 要 提炼 出 关于 今后 写 代 码 需 要 格外 关注 的 点 ， 将 相关 逻辑 进行 完整 排查 ， 确 保 没 有 类 似 的 问题 。 
对 应 案例 的 描述 如 下 。 

1. 缺 陷 原 理 

W1: 为 什么 手机 浏览 器 日 活 数据 近期 掉 粉 30 万 ? 

因为 发 布 6.5 版 本 并 安装 后 ，iOS 7 系统 上 的 日 活 数 据 陡 降 30 万 。 

W2: 是 什么 原因 导致 的 日 活 数据 陡 降 ? 

因为 IOS 7 系统 用 户 使 用 6.5 版 本 浏览 器 后 无 法 上 报 日 志 到 灯塔 系统 。 

W3: 所 有 iOS 7 系统 都 有 这 个 问题 吗 ? 会 不 会 跟 机 型 有 关 ? 

所 有 iOS 7 系统 都 存在 此 问题 ，iOS 8, iOS 9 都 是 没 问题 的 ， 与 机 型 无 关 。 

W4: 在 6.4 版 本 和 即将 发 出 的 6.6 版 本 没 这 个 问题 吗 ? 

旧版 本 和 即将 发 出 的 新 版 本 都 没 问 题 ， 问 题 只 存在 于 6.5 版 本 上 。 说 明 是 6.5 版 本 引入 的 ， 在 6.6 版 本 上 被 无 意 修复 了 。 影 响 范 围 就 限于 6.5 版 本 ， 需 要 发 布 patch。 
W5: 是 6.5 版 本 什么 时 候 引入 的 ， 什 么 情况 下 引入 的 ? 


在 6.5 版 本 的 灰 度 阶段 引入 的 ， 为 了 修改 小 说 页 面 刷新 后 空白 的 Bug， 图 10-6 修 改 了 网 络 层 缓存 机 制 ， 导 致 iDOS 7 系统 的 网 络 上 报 存 在 问题 。 
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【更 改 说 阴 ] fix Bug: 【小 说 】 ii057 的 系统 ， 小 说 发 现 页 面 刷新 后 显示 空白 ID: 51954916 
【影响 范围 ] 小 说 书架 
[代码 评审 ] rexzhu, jeson 


v Changes (1) 


Modified: (1) 
ME ProxyURLProtocol.m - /QQBrowser_iPhone_proj/trunk/src/MttBrowser_iPhone_Release1.0/mtt/src/Business/Function/SpdyProxy 


图 10-6 ”代码 修改 记录 
W6: 开发 的 CR 为 何 没有 发 现 问题 ? 


是 过 了 CR， 但 是 没有 发 现 可 能 存在 隐患 ， 图 10-7 所 示 的 逻辑 实现 不 是 很 优雅 ， 就 暂时 没 动 。 后 来 在 6.6 版 本 的 时 候 另 外 一 个 开发 人 员 看 着 觉得 逻辑 比较 乱 ， 重 构 了 一 下 ， 自 动 修复 了 这 个 问题 。 


] 


- (id)initWithRequest:(NSURLRequest *)request cachedResponse:(NSCachedURLResponse *)cachedResponse client:(id«NSU 


// call super 
NSFoundationVersionNumber < NSFoundationVersionNumber 10S 8 0 && (request.cachePolicy == NSURLRequestRelo 
/7 问题 : 10S 78955, IGEESKÜEHCREI, 3x[8304181X, SOESETPRRREREENSURLRequestReloadIgnoringLocalCacheData, 4na» 
NSURLRequest *newRequst = [[NSURLRequest alloc] initWithURL:reguest.URL cachePolicy:NSURLRequestUseProtoc 


self - [super initWithRequest:newRequst cachedResponse:cachedResponse client:client]; 
} else { 
self = [super initWithRequest:request cachedResponse:cachedResponse client:client]; 


图 10-7 i£ H 3L 
W7: 测试 为 何 没 有 暴露 问题 ? 


这 个 问题 反映 了 测试 上 报时 对 系统 的 不 关注 问题 。 在 问题 发 生 之 前 ， 测 试 统计 上 报 的 测试 都 不 分 系统 ， 只 要 在 一 个 系统 上 做 了 验证 即 可 。 理 论 上 ， 上 报 类 的 只 跟 网 络 层 有 关系 ， 与 系统 没有 关系 ， 但 是 
从 修改 的 代码 中 可 以 看 出 是 针对 iOS 7 系统 做 了 单独 处 理 ， 应 该 多 关注 。 


2. 代 码 关 注 


开发 人 员 需 要 关注 网 络 层 修改 的 问题 ， 尤 其 是 灰 度 后 需要 多 找 几 个 人 进行 CR， 新 人 开发 人 员 更 要 多 注意 。 测 试 人 员 在 发 生 这 个 Bug 后 ， 需 要 关注 开发 提交 的 影响 点 中 涉及 系统 的 网 络 层 修改 ， 在 不 同系 
统 上 对 统计 上 报 做 个 排查 测试 。 这 一 层面 的 描述 要 求 如 下 。 


缺陷 原理 的 描述 要 求 : 5W 深 究 到 底 ， 深 入 代码 层 。 


代码 关注 的 描述 要 求 : 开发 关注 点 ， 逻 辑 完整 查 。 


10.4.4 缺陷 思考 一 扩展 总 结 


在 经 过 前 面 三 个 步骤 后 ， 基 本 上 就 能 够 对 缺 隐 有 一 个 全 维度 的 审视 和 认 知 。 但 是 要 把 别人 口袋 里 的 钱 放 到 自己 口袋 里 ， 还 缺 最 后 一 个 很 关键 的 环节 ， 就 是 微观 上 关于 缺陷 的 思考 和 宏观 上 的 扩展 总 结 ， 
这 也 要 呈现 在 正 向 演进 的 报告 里 ， 以 提高 测试 报告 的 “含金量 ”。 缺陷 思考 主要 是 反问 自己 是 否 真 的 解决 了 问题 ， 这 个 看 似 简单 ， 其 实 最 容易 出 问题 。 开 发 人 员 修复 了 代码 后 ， 要 做 一 个 全 方位 的 验证 ， 对 
相关 模块 也 要 做 关联 测试 。 宏 观 上 的 扩展 总 结 是 可 选项 ， 可 以 对 历史 上 类 似 的 Bug 做 一 个 梳理 ， 有 能 力 和 时 间 的 话 还 可 以 对 相关 的 架构 做 一 个 完整 梳理 。 


对 应 本 案例 的 描述 如 下 。 


缺陷 思考 : 经 过 修改 后 ， 在 6.6 版 本 上 测试 发 现 ijOS 7 上 上 报 ok， 日 活 在 灰 度 时 也 会 回 到 正常 水 平 。 继 续 做 关联 性 测试 ， 既 然 日 活 上 报 没 问 题 ， 那 么 深入 看 看 各 个 业务 在 不 同系 统 上 的 具体 上 报 ， 发 现 6.6 
版 本 灰 度 后 引入 了 一 个 新 问题 ， 就 是 只 有 初始 化 状态 的 上 报 ， 没 有 后 续 的 功能 使 用 上 报 ， 于 是 再 次 修复 。 通 过 关联 测试 增强 了 测试 人 员 挖 掘 缺陷 的 能 力 ， 对 类 似 问 题 进行 了 围 堵 式 打击 。 


扩展 总 结 : 梳理 历史 上 关于 统计 上 报 的 知识 库 。 过 往 只 有 某 些 业 务 上 报 存 在 不 准确 或 者 漏 报 的 问题 ， 现 在 可 以 增加 对 系统 的 覆盖 检查 ， 上 线 前 的 checklist 里 也 可 以 增加 一 列 。 
这 一 层面 的 摘 述 要 求 如 下 。 

缺陷 思考 的 描述 要 求 : 确认 不 复 现 ， 关 联 性 测试 。 

扩展 总 结 的 描述 要 求 : 历史 相关 联 ， 架 构 杭 理 清 。 


由 此 正 向 演进 的 过 程 梳理 完毕 。 


10.5 讨论 分 析 
图 10-8 概 括 了 本 章 的 总 体 思 路 。 缺 陷 分 析 的 正 逆向 分 析 ， 逆 向 求证 重点 在 于 从 缺陷 现象 通过 望 闻 问 切 四 诊 法 寻找 到 问题 的 本 因 ， 即 缺陷 定位 ; 而 正 向 演进 侧重 报告 输出 和 逻辑 理 顺 ， 从 根 因 开始 理 顺 影 
响 和 整理 测试 思路 ， 完 善 知识 库 ， 指 导 今后 更 好 的 工作 。 


在 日 常 的 测试 工作 中 ， 我 们 与 开发 人 员 之 间 的 互动 主要 体现 在 逆向 求证 的 相互 帮助 和 讨论 中 ， 逆 向 求证 是 能 够 体现 团队 协作 和 提高 测试 影响 力 的 过 程 。 最 终 的 输出 是 缺陷 报告 的 形式 ， 可 以 参考 本 章 提 
供 的 模型 来 进行 梳理 和 反思 。 


文章 最 后 还 是 要 讨论 三 个 老 问题 : 任何 一 个 理论 或 者 模型 的 使 用 必然 伴随 着 一 个 挑战 ， 就 是 投入 产 出 比如 何 ? 适用 人 群 怎 样 ? 适用 阶段 是 什么 时 候 ? 本 节 就 这 三 个 问题 和 大 家 再 进行 一 次 讨论 。 


图 10-8 ”缺陷 分 析 思 路 


10.5.1 投入 产 出 比 


投入 产 出 比 我 们 从 两 个 方面 来 分 析 ， 首 先是 线 上 反馈 或 者 研发 过 程 中 的 严重 问题 (例如 内退 、 功 能 障碍 ) ， 不 存在 投入 产 出 比 的 顾虑 ， 因 为 这 些 问题 都 是 必须 验证 和 解决 的 。 这 里 涉及 投入 产 出 比 主要 
针对 日 常 的 研发 Bug 或 者 线 上 反馈 的 普通 问题 。 


缺陷 定位 (逆向 求证 ) 如 何 降低 投入 ， 思 路 如 下 。 
(1) 通过 “ 望 ”的 方式 决定 是 否 要 进行 下 一 步 ， 如 果 判 断 问题 影响 不 大 或 者 没有 必要 做 进一步 的 分 析 ， 就 可 以 在 这 一 步 终止 。 如 果 问题 比较 严重 ， 就 继续 下 一 步 。 
(2) 在 “ 闻 ” 这 一 环节 ， 确 认 蜡 常 发 生 的 位 置 ， 如 果 能 找到 ， 可 以 安排 新 人 或 者 外 包 去 进行 “ 问 ” 这 一 环节 ， 例 如 验证 发 生 版 本 、 影 响 机 型 范围 等 。 在 这 里 可 以 减少 一 部 分 人 力 成 本 。 


(3) 在 “ 切 ” 这 一 环节 ， 如 果 情 况 比较 复杂 ， 就 要 联系 开发 人 员 进 行 处 理 , 测试 人 员 要 视 情况 判断 是 否 深入 参与 ， 一 般 性 的 问题 经 过 前 三 个 环节 后 基本 可 以 交 给 开发 人 员 来 处 理 。 要 紧 的 问题 可 以 由 测 
试 人 员 继 续 跟 进 ， 直 到 结束 。 


缺陷 报告 ( 正 向 演进 ) 如 何 提高 产 出 ， 思 路 如 下 。 

(1) 四 层 模 型 或 者 自己 认为 合理 的 模式 进行 缺陷 报告 总 结 ， 形 成 固有 套路 ， 提 高 报告 撰写 效率 。 

(2) 学 习 探索 式 测试 思想 ， 对 测试 过 程 中 的 操作 能 够 快速 找到 指导 思想 ， 方 便 后 续 知识 库 的 维护 。 

(3) 日 常 多 思考 ， 一 个 报告 的 缺陷 思考 和 扩展 总 结 方面 可 以 邀请 他 人 一 起 参与 讨论 ， 碰 撞 出 思想 火花 ， 集 思 广 益 ， 提 高 思考 的 产 出 。 


(4) 结合 测试 人 员 实 际 的 经 验 进 行 判断 ， 通 过 这 种 一 升 一 降 的 方式 ， 提 高 自己 在 缺陷 分 析 方 面 的 投入 产 出 比 。 


10.5.2 ”适用 人 和 群 


也 许 很 多 人 会 问 ， 这 种 缺陷 分 析 是 否 适用 于 外 包 测 试 的 人 员 ” 新 加 入 的 正式 员工 可 以 做 缺陷 分 析 吗 ?我 们 一 一 来 讨论 下 。 如 表 10-5 所 示 ，“V” 代 表 适 用 ，“x” 代表 不 适用 。 这 也 只 是 一 个 参考 ， 具 体 


还 得 因 人 而 异 ， 总 体 来 说 ， 各 个 角色 都 可 以 通过 学 习 和 练习 的 方式 逐步 提高 缺陷 分 析 能 力 。QQ 浏 览 器 (iPhone) 项 目 从 正式 到 外 包 局 动 了 全 员 缺 陷 分 析 模 式 ， 效 果 不 错 。 


表 10-5 适用 人 群 
逆向 求证 正 向 演进 
适用 人 群 复 现 路 径 | 缺陷 原理 | 缺陷 思 
NA | v Iv |v | xiv : 
sasa | v | v | v | v | v 
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10.5.3 ”适用 阶段 
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适用 阶段 因 项 目 而 异 ， 在 iPhone 浏览 器 项 目 组 中 ， 与 项 目 组 达成 的 共识 是 在 集成 测试 后 发 现 的 内 退 问题 都 要 做 缺陷 分 析 ， 不 管 是 因为 集成 引入 还 是 之 前 的 测试 遗漏 ， 都 要 做 分 析 并 同步 出 来 。 另 外 ， 在 
每 个 版 本 结束 到 下 个 版 本 开始 ， 每 个 外 包 测 试 人 员 要 对 自己 负责 的 模块 的 典型 Bug 做 根 因 分 析 。 


10.6 小 结 


本 章 主 要 介绍 了 缺陷 分 析 的 基本 思路 和 模型 ， 读 者 可 以 通过 本 章 了 解 缺陷 分 析 的 原因 和 步骤 。 做 缺陷 分 析 最 终 还 是 为 了 能 够 从 中 获取 经 验 教训 ， 闭 环 指导 今后 的 开 有 友和 测试 活动 。 


后 记 


在 本 书 的 最 后 ， 还 要 多 说 几 句 ， 所 谓 书 中 自 有 黄金 屋 ， 书 中 自 有 颜如玉 。 我 们 要 搞 清 楚 读 书 的 目的 是 什么 。 其 实 一 本 书 读 下 来 对 你 有 用 的 东西 能 超过 20% 就 算 不 错 了 ， 所 以 我 们 应 该 更 多 地 关注 方法 ， 
也 就 是 如 何 去 解 决 这 些 问题 的 想法 。 比 如 iOs 自 动 化 测试 逐步 演进 的 历程 、iOs 平 台 性 能 测试 、 测 试 标准 化 “思考 ”等 。 就 像 所 有 的 非 教 科 书 一 样 ， 没 有 所 谓 的 标准 答案 ， 更 多 的 是 心路 历程 。 


测试 的 未 来 


2012 年 ， 业 界 有 一 个 热 议 的 话题 : “我 们 需要 专职 QA 吗 一 by 陈 些 ”， 可 能 大 家 会 对 测试 行业 的 未 来 担忧 ， 在 想 是 不 是 得 抓紧 转型 。5 年 过 去 了 ， 测 试行 业 也 没 太 大 变化 (主要 指 公司 淘汰 测试 职 
位 ) ， 当 然 互 联网 公司 对 测试 职位 的 能 力 要 求 逐步 提升 。 那 么 测试 还 有 没有 未 来 ? 


测试 这 个 岗位 的 发 展 可 能 有 几 个 方向 : 测试 染 构 师 、 测 试管 理 人 员 、 测 试 开发 人 员 ，。 
1. 测 试 架 构 师 
测试 架构 师 是 一 个 测试 设计 能 力 不 错 的 、 对 产品 质量 做 整体 把 天 、 能 建设 质量 体系 的 人 。 


产品 的 成 功 很 大 程度 在 于 它 的 品质 (特别 是 移动 互联 网 时 代 ) ， 这 需要 科学 系统 地 制定 产品 品质 指标 ， 推 动产 品 品质 的 提升 。 测 试 人 员 可 以 在 这 方面 做 更 多 的 事情 ， 例 如 如 何 更 好 地 根据 需求 文档 ( 价 
值 点 ) 来 制定 度量 指标 ， 这 其 中 就 包括 核心 用 户 场景 (用 户 可 能 的 操作 路 径 ) 、 用 户 体验 问题 ( 慢 / 卡 /内 退 ) 、 用 户 吐 槽 问题 (用 户 建议 等 ) 。 当 然 ， 还 需要 应 用 业界 的 测试 技术 或 者 方法 论 ， 才 能 更 全 面 
覆盖 测试 ， 避 免 产 品 上 线 后 出 现 大 问题 。 测 试 人 员 需 要 扎实 的 专业 知识 ， 再 结合 对 产品 的 深入 理解 ， 才 能 很 好 地 制定 产品 的 品质 体系 。 品 质 体 系 涉及 一 系列 测试 内 容 ， 有 些 可 能 需要 自动 化 测试 来 完成 ， 有 
些 可 能 需要 手动 测试 ， 有 些 需 要 专业 测试 工具 来 支持 ， 有 些 需要 开发 人 员 配 合 (例如 可 测 性 ) 。 


2. 测 试管 理 人 员 
测试 管理 是 一 个 沟通 协调 能 力 厉 害 的 、 可 以 做 外 包 团 队 管理 、 能 充分 利用 外 包 来 保证 产品 质量 的 人 .。 


根据 产品 特质 制定 好 合理 品质 体系 后 ， 有 些 事 项 需要 落实 执行 (例如 有 很 多 测试 用 例 需要 执行 ， 需 要 机 型 覆盖 、 网 络 覆 盖 等 ) ， 这 时 就 需要 外 包 团 队 来 帮忙 。 外 包 团 队 可 能 比 正式 人 员 还 多 ， 那 么 就 需 
要 更 好 地 管理 外 包 团队 。 这 方面 需要 有 合适 的 人 才 来 运作 外 包 团队 ， 协 调 好 具体 落实 的 事项 ， 同 时 不 断 提升 外 包 团 队 的 效率 。 


3. 测 试 开 发 人 员 
测试 开发 是 一 个 代码 能 力 强 的 、 可 以 做 平台 或 工具 开发 ， 同 时 也 可 以 做 自动 化 测试 相关 工作 的 人 。 


自动 化 测试 对 产品 质量 来 说 是 一 个 永恒 的 话题 ， 必 须 有 人 来 做 。 不 管 是 开发 人 员 自 己 写 单元 测试 代码 还 是 测试 人 员 做 BVT 或 者 性 能 测试 等 ， 都 需要 开展 起 来 。 有 些 代码 能 力 不 错 的 读者 可 以 考虑 专门 做 
这 块 的 工作 。 自 动 化 测试 代码 质量 也 是 产品 代码 工程 的 一 部 分 ， 这 也 要 求 测试 代码 的 质量 跟 开 发 人 员 的 代码 质量 一 样 高 。 测 试 人 员 同 时 也 需要 做 Code Review， 这 样 可 以 提前 发 现 一 些 潜在 的 问题 。 


除了 自动 化 这 块 ， 还 需要 一 些 工具 或 者 平台 来 提升 研发 的 工程 效率 (Engineering Productivity) ， 例 如 某 些 测试 工具 的 建设 (例如 网 络 包 抓 取 工具 、Log 分 析 工 具 等 )， 或 者 测试 平台 的 建设 (例如 
Bug 管 理 系统 、 用 例 管理 系统 ) ， 这 些 也 适合 测试 人 员 来 开发 ， 因 为 需要 测试 经 验 以 及 代码 能 力 。 


An 


光荣 在 于 平淡 ,艰巨 在 于 漫长 。 期 望 大 家 后 续 一 起 为 测试 这 个 行业 添砖加瓦 ， 别 让 测试 成 为 整个 软件 研发 过 程 中 的 电池 。 也 期 待 大 家 多 多 去 TMQ  (http://tmq.qq.com) 的 网 站 交流 与 品质 管理 相关 的 
经 验 和 想法 。 
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附录 B 相关 网 址 收录 


clang 的 scan-build 工 具 下 载 地 址 : http://clang-analyzer.llvm.org/scan-build.html 
facebook 的 infer 工 具 下 载 地 址 : https://github.com/facebook/infer 

企鹅 众 测 : http://tesly.qq.com 

苹果 审核 官方 指南 : https://developer.Apple.com/APP-store/review/guidelines/ 
XCTest 下 载 地 址 : http://tmq.qq.com/how we test QObrowser iOS/XCTestDemo.php 
KIF 演 示 下 载 地 址 : http://tmq.qq.com/how we test QQbrowser iOS/KIFDemo.php 


TMQ 官 网 : http:///tmq.qq.com 


